உள்ளூர் AI-இன் டோக்கன் பொருளாதாரம்

ஒவ்வொரு பெரிய கிளவுட் வழங்குநரும் நான் எழுதாமல் இருக்க விரும்பும் கட்டுரை இது. கணக்கு மறைக்கப்படவில்லை: அவர்களுடைய சொந்த விலைப் பக்கங்களில், அவர்களுடைய சொந்த ஆவணங்களில், யாரும் எடுத்துக்கொள்ளக்கூடிய தொழில்துறை ஆய்வுகளில் எளிய மொழியில் வெளியிடப்பட்டுள்ளது. அது படிக்கப்படாமல் இருக்க வேண்டும் என்றுதான் அவர்கள் விரும்புவார்கள், ஏனெனில் கணக்குப் போட்டுத் தன் சொந்த அனுமான அடுக்கை நிறுவும் ஒவ்வொரு நிறுவனமும் API வாடகையில் குறைவாகச் செலவிடும் நிறுவனம். ஒவ்வொரு அளவிலும் பதில் ஒன்றே, ஐந்து பேர் கொண்ட தொடக்க நிறுவனம், ஐம்பதாயிரம் பயனர்கள் கொண்ட நிறுவனம், இடையில் எங்கிருந்தாலும்: தன் அனுமான அடுக்குக்கு உரிமையாளரான குழு வாடகைக்கு எடுக்கும் குழுவைவிட பல மடங்கு தன் செலவைத் திரும்பப் பெறுகிறது.

கட்டமைப்பு

ஒரு மில்லியன் டோக்கனுக்கான விகிதம் தட்டையாகத் தெரிகிறது. அப்படி இல்லை. வெளியீடு உள்ளீட்டைவிட மூன்றிலிருந்து பத்து மடங்கு. காரணமறியும் மாடல்கள் தங்கள் சிந்தனைச் சங்கிலி டோக்கன்களை அந்த வெளியீட்டுப் பில்லுக்குள்ளேயே புதைத்துவிடுகின்றன. ஒவ்வொரு கோரிக்கையும் சிஸ்டம் ப்ராம்ப்ட்டின் செலவையும் அதனுடன் இணைந்த எந்த RAG சூழலையும் மீண்டும் செலுத்துகிறது. இவற்றில் எதுவும் விலைப் பக்கத்தில் தனியாகக் காட்டப்படுவதில்லை. எல்லாமும் விலைப்பட்டியலில் வந்து விழுகிறது.

Enterprise Strategy Group 2025-இல் Dell Technologies-உடன் இந்த ஒப்பீட்டைச் செய்தது, நான்கு ஆண்டுக் காலத்தில் RAG-உடன் 70B-அளவுரு Llama 3 நிறுவலை மூன்று கட்டமைப்புகளில் மாதிரியாக்கியது: வளாகத்துக்குள் Dell AI Factory, கிளவுட் IaaS, தூய API நுகர்வு. அதிக-பயன்பாட்டு முனையில் கணக்கு இப்படித் தெரிகிறது:

10,000 பயனர்களில், நான்கு ஆண்டுக் காலத்தில் வளாகத் தீர்வு 52% மலிவு. 50,000 பயனர்களில் 62% மலிவு. ஏற்புடன் இடைவெளி விரிவடைகிறது, இது பெரும்பாலான கொள்முதல் அனுமானங்களுக்கு நேர் எதிர். அதே கணக்கை உங்கள் சொந்த வேலைச்சுமையில் போட்டுப் பார்க்க விரும்பினால், இந்தத் தளத்தில் இரண்டு துணைக் கருவிகள் உள்ளன: LLM செலவுக் கணிப்பான் உங்கள் குறிப்பிட்ட டோக்கன் அளவுகளுக்கு எந்தக் கிளவுட் மாடலுக்கும் எந்த உள்ளூர் வன்பொருள் தேர்வுக்கும் இடையிலான சமநிலை மாதத்தைக் கணக்கிடுகிறது, ஹைப்பர்ஸ்கேலர் விலை ஒப்பீடு அதே மாடலில் Bedrock, Azure Foundry, Vertex ஆகியவற்றை வாராந்திரம் சரிபார்த்த விலைகளுடன் கண்காணிக்கிறது.

ஒரு கணம் முழுமையான எண்களை மறந்துவிடுங்கள். வளைவுகளைப் பாருங்கள். API செலவு போக்குவரத்துடன் நேர்கோட்டில் வளர்ந்து ஒருபோதும் தட்டையாகாது. சொந்த வன்பொருள் செலவு வன்பொருளின் ஆயுள் சுழற்சியுடன் உச்சவரம்பை எட்டிவிடுகிறது. நீங்கள் அகழி வெட்டினீர்களா அல்லது வரிக்குக் கையெழுத்திட்டீர்களா என்பதை முடிவு செய்யும் மாறி ஏற்பு. Dell எண்கள் நிறுவன அளவில் உள்ளவை, ஆனால் வளைவு எல்லா அளவிலும் ஒரே வடிவம் கொண்டது (ஃப்ராக்டல்): முன்மாதிரியிலிருந்து உற்பத்திக்கு நகரும்போது தன் மாத Anthropic அல்லது OpenAI பில் மேல்நோக்கி ஊர்வதைப் பார்க்கும் ஐந்து பேர் கொண்ட தொடக்க நிறுவனம் இதே கோட்டில்தான் உள்ளது, சிறிய பெருக்கியுடன் மட்டும். கணிதம் உங்கள் ஆட்கள் எண்ணிக்கையைப் பற்றிக் கவலைப்படுவதில்லை; உங்கள் தொடர் டோக்கன் அளவு சொந்த வன்பொருள் செலவு திரும்பும் அளவுக்கு அதை பிஸியாக வைத்திருக்கிறதா என்பதைத்தான் பார்க்கிறது.

டாலர் ஒப்பீட்டில் அறவே தெரியாத இரண்டாவது அச்சு ஒன்றுள்ளது. கிளவுட் அனுமானம் ஒவ்வொரு ப்ராம்ப்ட்டையும், அதாவது சிஸ்டம் சூழல், மீட்டெடுத்த ஆவணங்கள், ஏஜென்ட்டின் இடைநிலை நிலை ஆகியவற்றை, நெட்வொர்க் எல்லையைத் தாண்டி மூன்றாம் தரப்புக்கு நகர்த்துகிறது. அது இணக்க நோக்கெல்லை, அறிவுசார் சொத்து கசிவு அபாயம், சூழல்-சாளர வழிவரைபடங்கள் மற்றும் வீத வரம்புகளைச் சுற்றிய விற்பனையாளர் பிணைப்பு, வழங்குநருக்கு அதிகாலை 3 மணிக்குப் பிராந்திய செயலிழப்பு ஏற்பட்டால் குவிப்பு அபாயம், ஒரே மாடலை வழங்கும் ஹைப்பர்ஸ்கேலர்களுக்கு இடையிலும் விலை மாறுபாடு ஆகியவற்றைத் தூண்டுகிறது. நான் இதை அனுமான இறையாண்மை என்கிறேன். ஐந்து ஆண்டுகளுக்கு முன் தொழில்நுட்பத் தலைமை தரவு இறையாண்மை பற்றிப் பேசிய அதே உரையாடல்தான், அடுக்கில் ஒரு படி கீழே.

இந்தக் கட்டத்தில் CTO க்களிடமிருந்து எனக்குக் கிடைக்கும் ஆட்சேபனை நியாயமானது: “ஆனால் Bedrock, Vertex, OpenAI எல்லாம் நுணுக்க-பயிற்சி தருகின்றன. எனக்கு ஏன் சொந்த GPU?” ஏனெனில் கிளவுட்-நிர்வகிக்கும் நுணுக்க-பயிற்சி என்பது கூடுதல் படிகளுடன் கூடிய வாடகை. பயிற்சித் தரவு இன்னும் உங்கள் எல்லையை விட்டுச் செல்கிறது. அடாப்டர் எடைகள் வேறொருவரின் உள்கட்டமைப்பில் வாழ்கின்றன. அனுமானம் இன்னும் வேறொருவரின் ஒரு கோரிக்கைக்கான விகிதத்தில், வேறொருவரின் வழிவரைபடத்துக்கு எதிராக இயங்குகிறது. நீங்கள் சார்புடன் தனிப்பயனாக்கத்தைச் சேர்த்தீர்கள், சார்பை நீக்கவில்லை. உங்கள் மாடல், உங்கள் தரவு, உங்கள் அனுமான வளையம் ஒரே நேரத்தில் உங்களுடையவையாக இருக்கும் ஒரே கட்டமைப்பு உள்ளூர் ஆய்வகம்தான்.

உருவாக்கம்

பெரும்பாலான குழுக்கள் இந்த நகர்வை ஒருபோதும் செய்யாததற்குக் காரணம், அவை உங்கள் மாடலுக்கு உரிமையாளராவது என்பதையும் உங்கள் மாடலை முதலிலிருந்து பயிற்றுவிப்பது என்பதையும் குழப்பிக்கொள்வதுதான். இவை செலவில் நான்கிலிருந்து ஆறு அளவு வரிசைகளால் பிரிக்கப்பட்ட இரண்டு முற்றிலும் வேறுபட்ட பிரச்சினைகள்.

முன்-பயிற்சி செய்யாதீர்கள்

Stanford-இன் 2025 AI Index முன்னணிக்குப் பின்னால் உள்ள பயிற்சிக் கணிப்பின் விலையை மதிப்பிட்டது: GPT-4 சுமார் $78 மில்லியன், Llama 3.1 405B $170 மில்லியன், Gemini Ultra $191 மில்லியன். இவை காலப்போக்கில் பகிர்ந்து கணக்கிடப்பட்ட கிளவுட் வாடகை டாலர்கள், வெறும் மூலக் கணிப்பு: தரவுப் பொறியியல் இல்லை, MLOps இல்லை, ஆயிரக்கணக்கான GPU கிளஸ்டரைச் சிதைக்காமல் இயக்கத் தெரிந்தவர்களின் சம்பளம் இல்லை. வளைவின் சிறிய முனையிலும் முதலிலிருந்து 7B மாடல் $50K–$500K மற்றும் பல்லாயிரம் GPU-மணி நேரங்கள். 70B-க்கு $1.2M–$6M மற்றும் வாரக்கணக்கில் இயங்கும் அர்ப்பணிக்கப்பட்ட 256-GPU H200 கிளஸ்டர் தேவை.

அதைச் செய்யாதீர்கள். முன்னணி-ஆய்வக வரவு செலவுத் திட்டங்களுக்கு வெளியே யாருக்கும் அது தேவையில்லை.

அதற்குப் பதில் PEFT செய்யுங்கள்

உண்மையான நகர்வு ஏற்கனவே உள்ள திறந்த-எடை அடித்தளத்தின் மீது அளவுரு-திறன் நுணுக்க-பயிற்சி (Parameter-Efficient Fine-Tuning). Llama 3, Mistral, Qwen, Phi: ஏற்கனவே ஆங்கிலத்தில் சரளமானவை, தொடரியலில் சரியானவை, உலக அறிவுள்ளவை. அதன் மேல் நீங்கள் இணைப்பது உங்கள் துறை: உங்கள் வகைப்பாடு, உங்கள் வடிவமைப்பு, உங்கள் முடிவு தர்க்கம், உங்கள் தொனி. அளவுருவெளியில் இது ஒரு சிறிய சரிசெய்தல், நவீன நுட்பங்கள் அதையே நேரடியாகப் பயன்படுத்திக்கொள்கின்றன.

அந்த VRAM நெடுவரிசையிலுள்ள எண்கள் 7B மாடலுக்கான அடிப்படை மதிப்புகள். ஒரு குறிப்பிட்ட குவாண்டைசேஷனில் ஒரு குறிப்பிட்ட மாடல் ஒரு குறிப்பிட்ட GPU-இல் உண்மையில் பொருந்துமா என்பதைக் கண்டறிய, GPU VRAM கணிப்பான் அதைப் பிரித்துக் காட்டுகிறது: மாடல் எடைகள், அத்துடன் KV தற்காலிகச் சேமிப்பு மற்றும் ஆக்டிவேஷன்கள், நுகர்வோர் GPU-கள், தரவு மைய அட்டைகள், Apple Silicon, Pi முடுக்கிகளின் தேர்ந்தெடுக்கப்பட்ட அட்டவணைக்கு எதிராக. எந்த வன்பொருள் முடிவுக்கும் முன் இயக்கிப் பார்க்கத் தகுந்தது.

LoRA அடித்தள எடைகளை முழுமையாக உறையவைத்து, குறிப்பிட்ட கவன அடுக்குகளில் சிறிய பயிற்றுவிக்கத்தக்க தரவரிசை-சிதைவு அணிகளைச் செலுத்துகிறது: நீங்கள் அளவுரு எண்ணிக்கையில் ஏறக்குறைய 1% அளவிலான ஒன்றைப் புதுப்பிக்கிறீர்கள். QLoRA உறைந்த அடித்தளத்தை 4-பிட்டாக குவாண்டைஸ் செய்து இன்னும் ஒரு படி முன்னே செல்கிறது, இதனால் நினைவகத் தடம் 7B நுணுக்க-பயிற்சி ஒரு நுகர்வோர் GPU-இல் பொருந்தும் அளவுக்குச் சுருங்குகிறது. QLoRA-இல் ஒரு தீவிரமான தகவமைப்பு ஓட்டம் சில நூறு டாலர்களில் ஓர் இரவில் முடிந்துவிடுகிறது. ஸ்கிரிப்டின் வடிவம், அதாவது தேர்ந்தெடுக்கப்பட்ட தரவுத்தொகுப்புக்கு எதிராக Gekro ஆய்வகப் பணியின் அடுத்த காலாண்டுக்குத் திட்டமிடப்பட்டிருப்பது, ஏறக்குறைய இப்படித் தெரிகிறது:

# gekro_qlora_train.py - Llama 3 8B + QLoRA via Unsloth + TRL
# Target: single consumer GPU (Mac Mini Metal or RTX 4090 class)
from unsloth import FastLanguageModel
from trl import SFTTrainer
from transformers import TrainingArguments

model, tokenizer = FastLanguageModel.from_pretrained(
    model_name="unsloth/llama-3-8b-bnb-4bit",
    max_seq_length=4096,
    load_in_4bit=True,
)

model = FastLanguageModel.get_peft_model(
    model,
    r=16,                                # LoRA rank
    target_modules=["q_proj", "k_proj", "v_proj", "o_proj"],
    lora_alpha=16,
    lora_dropout=0.0,
    use_gradient_checkpointing="unsloth",
)

trainer = SFTTrainer(
    model=model,
    tokenizer=tokenizer,
    # Expected JSONL shape per record:
    # {"messages": [{"role": "user", "content": "..."},
    #               {"role": "assistant", "content": "..."}]}
    train_dataset=load_curated_dataset(),    # your domain corpus
    args=TrainingArguments(
        per_device_train_batch_size=2,
        gradient_accumulation_steps=4,
        num_train_epochs=3,
        learning_rate=2e-4,
        optim="adamw_8bit",
        output_dir="./checkpoints",
    ),
)
trainer.train()

ஒரு கோப்பு. ஒரு GPU. ஓர் இரவு ஓட்டம். வெளியீடு ஒரு சிறிய அடாப்டர் எடைக் கோப்பு, அதை அனுமான நேரத்தில் உறைந்த அடித்தளத்தின் மேல் ஏற்றி, அடிப்படை மாடலைப் பரிமாறுவது போலவே Ollama அல்லது vLLM மூலம் பரிமாறுகிறீர்கள்.

வன்பொருள் அடுக்குகள்: ஆய்வகங்கள் குழுவின் அளவுடன் வளர்கின்றன, நிறுவன வருவாயுடன் அல்ல

கனமான AI பணிப்பாய்வுகளை இயக்கும் தனிப் பொறியாளர் அடுக்கு 1-க்குச் சொந்தம். தொடர் ஏஜென்ட் வேலைச்சுமைகளை இயக்கும் குழு அடுக்கு 2-க்குச் சொந்தம். ஆயிரக்கணக்கான பயனர்களுக்குச் சேவை செய்யும் அமைப்பு அடுக்கு 3-க்குச் சொந்தம். அதே கட்டமைப்பு, மூன்று பெருக்கிகள். ஒவ்வொரு அடுக்கிலும் செலவு திரும்பும் கணக்கு அதை அங்கீகரித்த கொள்முதல் சுழற்சியைவிட வேகமானது: அடுக்கு 1-இல் மாதங்கள், நுணுக்க-பயிற்சி செய்த அடாப்டர்கள் உண்மையான போக்குவரத்துக்குச் சேவை செய்யத் தொடங்கியதும் அடுக்கு 2-இல் வாரங்கள், தொடர் அளவில் சமமான API செலவுக்கு எதிராக அடுக்கு 3-இல் பல மடங்கு.

2026-இல் பரிமாறல் அடுக்கு ஒரே இடத்தில் ஒன்றிணைந்துவிட்டது, இதுதான் கதையின் குறைவாகப் பேசப்படும் பகுதி. vLLM செயல்திறனில் வென்றுள்ளது: அதன் PagedAttention வழிமுறை இயக்க முறைமைகள் மெய்நிகர் நினைவகத்தைப் பக்கப்படுத்துவது போலவே KV தற்காலிகச் சேமிப்பைப் பிரிக்கிறது, அதே வன்பொருளில் vLLM மூலம் பரிமாறுவதற்கும் அப்பாவித்தனமாகப் பரிமாறுவதற்கும் இடையிலான வேறுபாடு செயலற்ற GPU க்கும் நிரம்பிய GPU க்கும் இடையிலான வேறுபாடு. Ollama மேசைக்கணினி மற்றும் விளிம்புக்கான உருவாக்குநர் வசதியில் வென்றுள்ளது. நீங்கள் NVIDIA க்குக் கட்டுப்பட்டு ஒவ்வொரு கடைசி சுழற்சியையும் விரும்பும் இடத்தில் TensorRT-LLM வாழ்கிறது. சோதனை கண்காணிப்பை MLflow அல்லது Weights & Biases கையாளுகின்றன, ஏனெனில் LLM நுணுக்க-பயிற்சி தீர்மானமற்றது, மறுஉருவாக்கத்தன்மைதான் ஆய்வு செய்முறைக்கும் உற்பத்தி அமைப்புக்கும் இடையிலான வேறுபாடு.

பெரிய அளவில் உற்பத்தி அனுமானத்தை இயக்க இனி உங்களுக்கு Anthropic அல்லது OpenAI-இன் உள்கட்டமைப்புக் குழு தேவையில்லை. அந்த நிறுவனங்கள் உருவாக்க ஆண்டுகள் எடுத்த அடுக்கு இப்போது ஒரு pip install மற்றும் ஒரு உள்ளமைவுக் கோப்பு. இது 2026-இல் புதியது, இந்த இடுகையின் கணக்கு ஒவ்வொரு அடுக்கிலும் வேலை செய்வதற்கு இதுவே முழுக் காரணம். நான் ஏற்கனவே கட்டமைப்புக் காப்பீடாக Pi மீது Ollama மாதிரியையும், கிளவுட் மற்றும் உள்ளூர் வழங்குநர்களை ஒரே இடைமுகத்துக்குப் பின்னால் இணைக்கும் GekroLLMClient ஐயும் ஆவணப்படுத்தியுள்ளேன்; இரண்டும் வீட்டு ஆய்வகத்திலிருந்து நேரடியாக நிறுவன அடுக்குக்கு விரிவடைகின்றன.

சமரசங்கள்

அனுமான அடுக்குக்கு உரிமையாளராவது இலவசம் அல்ல, அப்படி நடிப்பதுதான் ஆய்வகங்களைப் பேப்பர்வெயிட்டுகளாக்குகிறது. பெயரிடத் தகுந்த நான்கு தோல்வி வகைகள் உள்ளன.

குறைவான பயன்பாடு வளைவைக் கொல்கிறது. சமநிலை வாதம் தொடர் செயல்திறனைச் சார்ந்தது. அடுக்கு-3 சர்வரை நிறுவி 8% பயன்பாட்டில் இயக்கினால் நீங்கள் மிக விலையுயர்ந்த பேப்பர்வெயிட்டை உருவாக்கிவிட்டீர்கள். கிளவுட் API கள் திடீர் உச்சங்கள் கொண்ட, குறைந்த அளவுள்ள வேலைக்கு உண்மையிலேயே மலிவு: அதுவே அவற்றுக்குப் பொருந்தும் வடிவம், அதற்காக அவற்றைத் தொடர்ந்து பயன்படுத்த வேண்டும். எந்த வன்பொருள் முடிவுக்கும் முன் கேளுங்கள்: நான் உள்ளே கொண்டுவரும் வேலைச்சுமைகளின் நிலையான தினசரி டோக்கன் அளவு என்ன, வன்பொருளை பிஸியாக வைக்க அது போதுமான பெரியதா? நேர்மையான பதில் இல்லை என்றால், அந்த வேலைச்சுமைக்கு API இலேயே இருங்கள். உள்ளூர் வன்பொருள் நிரம்பியிருக்கும்போதுதான் தன் சோற்றைச் சம்பாதிக்கிறது.

தரச் சரிவு உண்மையானது. குறுகிய, நன்கு வரையறுக்கப்பட்ட பணிக்கு நுணுக்க-பயிற்சி செய்த 8B அந்தப் பணியில் முன்னணி API-க்கு இணையாகவோ அதைவிட நன்றாகவோ செயல்படலாம்: நுணுக்க-பயிற்சியின் முழு நோக்கமும் அதுதான். ஆனால் வேலைச்சுமை திறந்த-முடிவு காரணமறிதல் அல்லது பல-துறை அறிவை நோக்கிச் சறுக்கும் கணத்தில் சிறிய மாடல் சரிவில் விழுகிறது. நான் இதை நேரடியாக உணர்ந்திருக்கிறேன். என் Mac Mini மகிழ்ச்சியாக குவாண்டைஸ் செய்த 70B-ஐ இயக்குகிறது, பதில்கள் சுருக்கம், வகைப்படுத்தல், குறியீட்டு மதிப்பாய்வுக்குப் போதுமான அளவு பயன்படுத்தத்தக்கவை. அதே ப்ராம்ப்ட்டுக்கு Claude அல்லது Gemini Pro தருவதைவிட அவை தெளிவாகக் குறைந்த நுணுக்கமுள்ளவையும்: குறுகியவை, மேலும் சொல்லுக்குச் சொல், கேள்வியின் இரண்டாம்-நிலை உட்பொருளைத் தவறவிடும் வாய்ப்பு அதிகம். வழிப்படுத்தல் முடிவே கட்டமைப்பு, அது கிளையன்ட் உறையில் வாழ்கிறது:

# Hybrid routing - local for narrow tasks, cloud for long-tail reasoning
NARROW = {"classify", "extract", "summarize", "format", "tag"}
REASONING = {"design", "plan", "synthesize", "debug-novel"}

def route(task_class: str, prompt: str) -> str:
    if task_class in NARROW:
        return local_finetuned_8b.run(prompt)
    if task_class in REASONING:
        return cloud_frontier.run(prompt)
    return cloud_frontier.run(prompt)        # default: don't guess

குறுகிய, அதிக அளவு, தாமத-உணர்திறன் கொண்ட வேலைக்கு உள்ளூர். உள்ளூர் மாடலால் கையாள முடியாத நீண்ட-வால் காரணமறிதலுக்கு கிளவுட் முன்னணி. இதுவே API இறையாண்மை மாதிரியின் இதயம்: ஆய்வகம் கிளவுடை மாற்றுவதில்லை, முதலில் முன்கணிக்கக்கூடிய வேலைச்சுமைகளைத் தின்றுவிடுகிறது. உள்ளூர் அடுக்கு கையாளும் ஒவ்வொரு டோக்கனும் கிளவுட் விலைப்பட்டியல் உங்களிடம் கட்டணம் வசூலிக்காத டோக்கன். நீங்கள் கிளவுடில் வைத்திருக்கும் ஒவ்வொரு டோக்கனும் நடைமுறையில் வழங்குநரின் அடுத்த சுற்றுப் பயிற்சிக் கணிப்புக்கு நீங்கள் மானியம் தரும் டோக்கன்.

அகழி தரவுத்தொகுப்பு, GPU அல்ல. கணிப்பு மலிவு. GPU நேரத்தில் $300 செலவாகும் QLoRA ஓட்டம், குழுவுக்கு நிபுணர் மணிநேரங்களில் $60,000 செலவான குறிப்புரை முயற்சியின் மேல் அமரலாம், தீவிரமான DPO அல்லது RLHF ஓட்டத்தில் மனித-லேபிளிங் மற்றும் கணிப்பு விகிதம் வழக்கமாக மனிதர்களுக்குச் சாதகமாக இருபதிலிருந்து முப்பது மடங்கு. இது நுணுக்க-பயிற்சிக்கு எதிரான வாதம் அல்ல. உங்கள் அமைப்பால் தன் வகைப்பாட்டை எழுத்தில் வெளிப்படுத்த முடியாவிட்டால், உங்கள் துறைக்கு சரியான வெளியீடு எப்படி இருக்கும் என்பதில் ஒப்புக்கொள்ள முடியாவிட்டால், குறிப்புரை மதிப்பாய்வுக்குத் துறை நிபுணர்களை ஒதுக்க முடியாவிட்டால், உங்களுக்கு இன்னும் நுணுக்க-பயிற்சிப் பிரச்சினை இல்லை, அறிவு மேலாண்மைப் பிரச்சினை உள்ளது என்பதே இந்த வாதம். முதலில் அதைத் தீர்த்துக்கொள்ளுங்கள். கணிப்பு எளிதான பாதி. பயிற்சி எடுத்துக்காட்டுகளை வடிவமைக்கத் தொடங்கும்போது கட்டமைப்புகளுக்கு இடையிலான வடிவ உரசலை எதிர்பாருங்கள்: OpenAI-இன் அரட்டை ஸ்கீமா, Alpaca, ShareGPT, Unsloth/Llama எல்லாம் அதே தரவை சற்று வேறுபட்ட வடிவில் விரும்புகின்றன. மாற்றத்தைக் கையாளவும், அமைதியாகப் பயிற்சியைக் கெடுக்கும் விடுபட்ட-சுற்றுப் பிழைகளைக் குறிக்கவும் நுணுக்க-பயிற்சித் தரவுத்தொகுப்பு வடிவமைப்பானை உருவாக்கினேன்.

வன்பொருள் புதுப்பிப்பு கொடூரமானது. அதுவே சிறப்பம்சம், குறைபாடு அல்ல. கணக்கியல் சர்வர்களின் தேய்மானத்தை ஐந்து அல்லது ஆறு ஆண்டுகளில் கணக்கிடுகிறது. AI சிலிக்கான் ஒத்துழைப்பதில்லை. புதிய GPU தலைமுறைகள் ஏறக்குறைய ஆண்டுதோறும் கணிசமான திறன் ஆதாயங்களுடன் வருகின்றன, அதாவது 2024 தொடக்கத்தில் வாங்கிய H100, 2026 இறுதிக்குள் இரண்டு கட்டமைப்புத் தலைமுறைகள் பின்தங்கிவிடுகிறது. மிகக் கடுமையான அடுக்கில் 24–36 மாத புதுப்பிப்பையும், பழைய சிலிக்கானை இலகுவான வேலைச்சுமைகளுக்குக் கீழிறக்கும் மதிப்பு-அருவி மாதிரியையும் திட்டமிடுங்கள்: ஆண்டுகள் 1–2-இல் முன்னணிப் பயிற்சி, ஆண்டுகள் 3–4-இல் நிகழ்நேர அனுமானம், அதன் பின் தொகுப்புப் பகுப்பாய்வு. தீவிரமாகப் புதுப்பிக்கும் நெகிழ்வே ஒரு உத்தி சார்ந்த சொத்து. கிளவுடின் மூன்றாண்டு ஒதுக்கப்பட்ட-நிகழ்வு உறுதிப்பாடு அதை உங்களுக்குத் தருவதில்லை, உங்கள் நிதிக் குழு கையெழுத்திடப் போகும் நீண்டகால API ஒப்பந்தமும் தருவதில்லை.

இது எங்கே செல்கிறது

இந்த இடுகை ஓரளவு தொகுப்பு, ஓரளவு என் சொந்த வழிவரைபடம். இன்று நான் Mac Mini மற்றும் Pi கிளஸ்டரில் உள்ளூர் அனுமானத்தை இயக்குகிறேன், GekroLLMClient வேலைச்சுமை வகுப்பைப் பொறுத்து கிளவுட்டுக்கும் உள்ளூருக்கும் இடையே வழிப்படுத்துகிறது. நான் இன்னும் செய்யாதது, ஆய்வகப் பணியின் அடுத்த காலாண்டு எதைச் சுற்றிக் கட்டப்பட்டுள்ளதோ அது, என் சொந்த வன்பொருளில் தேர்ந்தெடுக்கப்பட்ட தரவுத்தொகுப்புக்கு எதிராக ஆரம்பம் முதல் இறுதி வரை QLoRA இயக்குவது, ஒரு முறை செய்த நுணுக்க-பயிற்சியை மறுஉருவாக்கக்கூடிய பைப்லைனாக மாற்றும் மதிப்பீட்டு வளையம் மற்றும் MLOps ஒழுக்கத்துடன். நான் வாழும் இடத்துக்கே உரிய இரண்டாவது உகப்பாக்க மேற்பரப்பும் உள்ளது: Texas மின்கட்டத்துக்குப் பயிற்சிப் பணிகள் எப்போது இயங்க வேண்டும் என்பதில் சொந்தக் கருத்துகள் உண்டு, வன்பொருள் முதலில் உங்களுடையதாக இருந்தால்தான் அது திறக்கும்.

இதில் எதுவும் மறைக்கப்படவில்லை. உங்கள் மாதாந்திர விலைப்பட்டியலை எழுதும் கிளவுட் வழங்குநர்களுக்கு இது ஏற்கனவே தெரியும். உங்கள் பொறியியல் குழு அம்சங்களை அனுப்புவதில் மிகவும் பிஸியாக இருப்பதால் கணக்குப் போடாது என்று அவர்கள் பந்தயம் கட்டுகிறார்கள். அப்படியிருந்தும் கணக்குப் போடுங்கள்.