Mac Mini M4: உள்ளூர் LLM-களின் அதிகாரப்பூர்வமற்ற ராஜா

நீங்கள் DFW புறநகரில் ஆய்வகம் அமைத்தால், மின் பயன்பாடும் வெப்பமுமே உங்கள் மிகப்பெரிய எதிரிகள் என்பதை விரைவில் கற்றுக்கொள்வீர்கள். நான் மாதக்கணக்கில் 3090 கொண்ட ஒரு PC அமைப்புடன் போராடினேன்; அது ஜெட் எஞ்சின் போல ஒலித்தது, ஏதேனும் ஏஜென்ட் பின்னணிப் பணியை இயக்கும் ஒவ்வொரு முறையும் என் அலுவலகத்தை நீராவி அறையாக மாற்றியது. பிறகு 64GB ஒருங்கிணைந்த நினைவகத்துடன் Mac Mini M4 Pro-க்கு மாறினேன். இது அமைதியானது, மேசை விளக்கைவிடக் குறைவான மின்சாரம் இழுக்கிறது, Llama 3-70B மாடல்களைப் பயன்படுத்தத்தக்க வேகத்தில் இயக்குகிறது. முதன்முறையாக வன்பொருள் கண்ணுக்குத் தெரியாததாகிவிட்டது; எந்தப் பொறியியல் ஆய்வகத்தின் இறுதி இலக்கும் அதுதான்.

கட்டமைப்பு

Apple Silicon-இன் “மாயம்” CPU வேகம் அல்ல; அது ஒருங்கிணைந்த நினைவகக் கட்டமைப்பு (UMA). பாரம்பரிய PC-யில் CPU RAM-உம் GPU RAM-உம் (VRAM) தனித்தனி. 40GB மாடலை இயக்க விரும்பினால் 1,600 டாலர் GPU தேவை. Mac-இல் சிஸ்டம் RAM-ஏ VRAM.

தூய வேகத்தில் (வினாடிக்கு டோக்கன்கள்) PC, Mac-ஐ வென்றாலும், அளவு-செலவு விஷயத்தில் Mac வெல்கிறது. பெருமளவு கத்தரிப்பு இல்லாமல் ஒரே நுகர்வோர் NVIDIA கார்டில் 70B மாடலை இயக்குவது உண்மையில் இயலாது. Mac Mini அதை எளிதாக விழுங்குகிறது.

உருவாக்கம்

உற்பத்தி ஆய்வகத்துக்காக Mac-ஐ அமைக்க, “டெஸ்க்டாப் ஆப்” மனப்பான்மையிலிருந்து தலையற்ற சேவை மனப்பான்மைக்கு மாற வேண்டும்.

1. அனுமான ஸ்டாக்

நான் Ollama பயன்படுத்துகிறேன், ஏனெனில் Apple-இன் Metal API-க்கு அதில் சிறந்த செயலாக்கம் உள்ளது. டென்சர் கணிதத்தை நேரடியாக M4 சிப்பில் உள்ள GPU கோர்களுக்கு அனுப்புகிறது.

# Verify Metal acceleration is active in the logs
grep "Metal" ~/.ollama/logs/server.log

# You should see: "Metal device is available" and "offloading layers to GPU"

2. Python பாலம்

என் ஏஜென்ட்கள் உள்ளூர் நெட்வொர்க்கில் GekroLLMClient மூலம் Mac Mini-யுடன் பேசுகின்றன; அதை என் API இறையாண்மைக் கட்டுரையில் விரிவாகக் கூறியுள்ளேன்.

import ollama

def run_heavy_inference(prompt):
    # This runs on the Mac Mini, called by a Pi or my Workstation
    response = ollama.chat(
        model='llama3:70b-instruct-q4_K_M',
        messages=[{'role': 'user', 'content': prompt}]
    )
    return response['message']['content']

3. மாடல் குவாண்டைசேஷன் தேர்வு

64GB Mac-க்கு, Llama 3-70B-க்கு Q4_K_M “சரியாகப் பொருந்தும்” குவாண்டைசேஷன். இது RAM-இல் வசதியாக அடங்கும் (சிஸ்டத்துக்கும் பிற ஏஜென்ட்களுக்கும் 20GB விட்டு), அடிப்படை மாடலின் நுண்ணறிவில் 99%-ஐத் தக்கவைக்கிறது.

சமரசங்கள்

Mac Mini குறையற்றது அல்ல. மிகப்பெரிய “வரி” CUDA இல்லாமை. நீங்கள் மாடல் பயிற்சி அல்லது நுண்ணிய சீரமைப்பு செய்தால், NVIDIA அமைப்புடன் ஒப்பிடுகையில் Mac வெறும் காகிதம் அழுத்தும் எடைக்கல்தான். புதிய ஆய்வுக் குறியீட்டில் பெரும்பாலானவை முதலில் CUDA-க்காகவே எழுதப்படுகின்றன; “Metal ஆதரவு” பெரும்பாலும் மாதங்கள் கழித்து வரும் கடைசி நேரத்துச் சேர்க்கை.

நேர்மையாகச் சொன்னால், அந்தச் சுவரில் நான் உண்மையில் ஒருபோதும் மோதவில்லை. இந்த ஆய்வகத்தில் நான் இயக்கும் அனைத்தும் அனுமானமே, Metal-இல் அனுமானம் நன்றாகவே இருந்தது. Apple silicon-இல் எதையாவது நுண்ணிய சீரமைப்பு செய்ய முயலும் நாளில் இது கடிக்கும் என்பதற்காகத்தான் குறிப்பிடுகிறேன், என்றேனும் கடித்ததால் அல்ல.

வெப்பம் தேங்குதல் தொடர்பாகவும் ஒரு பெரிய சிக்கலைச் சந்தித்தேன். 1,000 Tesla டெலிமெட்ரி பதிவுகளின் 4 மணி நேர தொகுதிச் செயலாக்கத்தின்போது Mac Mini-யின் உள் மின்விசிறி இறுதியாக வேகம் பிடித்தது, அனுமான வேகம் 8 TPS-இலிருந்து 5 TPS ஆகக் குறைந்தது. மணிக்கணக்கில் 100% பயன்பாட்டுக்குத் தள்ளப்படும்போது Apple-இன் செயல்திறனுக்கும் வரம்புகள் உண்டு. நீண்ட அனுமான ஓட்டங்களின்போது சேசிஸின் அடிப்பகுதியைக் குளிர்ச்சியாக வைக்க, இறுதியில் 120mm மின்விசிறியுடன் ஒரு தனிப்பயன் ஸ்டாண்டை 3D-அச்சிட்டேன்.

இது எங்கே செல்கிறது

தற்போது அதிவேக Thunderbolt பாலங்கள் வழியாக Mac Mini-களைக் கிளஸ்டராக்குவது பற்றிப் பார்த்து வருகிறேன். இரண்டு M4 Pro-களின் நினைவகத்தை ஒன்றாக இணைக்க முடிந்தால், 405B அளவுருக்கள் கொண்ட மாடலை உள்ளூரிலேயே இயக்கலாம். அதுதான் கனவு: மேசை இழுப்பறையில் அடங்கும் வடிவில் ஒரு தனிப்பட்ட, உள்ளூர் “சூப்பர்-இன்டெலிஜென்ஸ்”.