Mac Mini M4: الملك غير الرسمي للنماذج اللغوية المحلية

إذا كنت تبني مختبرًا في إحدى ضواحي DFW، فستتعلم سريعًا أن استهلاك الطاقة والحرارة هما أكبر أعدائك. قضيت شهورًا أصارع جهاز PC يعتمد على 3090 كان يصدر صوتًا كمحرك نفاث ويحوّل مكتبي إلى ساونا كلما شغّل وكيل مهمة في الخلفية. ثم انتقلت إلى Mac Mini M4 Pro بذاكرة موحدة سعتها 64GB. إنه صامت، ويسحب طاقة أقل من مصباح مكتب، ويشغّل نماذج Llama 3-70B بسرعات مقبولة. وللمرة الأولى صار العتاد غير مرئي، وهذا هو الهدف الأسمى لأي مختبر هندسي.

البنية

“سحر” Apple Silicon ليس في سرعة المعالج، بل في معمارية الذاكرة الموحدة (UMA). في الحاسوب التقليدي، ذاكرة المعالج وذاكرة وحدة الرسوميات (VRAM) منفصلتان. فإذا أردت تشغيل نموذج بحجم 40GB فأنت بحاجة إلى وحدة رسوميات بسعر 1,600 دولار. أما في Mac فإن ذاكرة النظام هي الـ VRAM.

ومع أن الحاسوب المكتبي يتفوق على Mac في السرعة الخالصة (عدد الرموز في الثانية)، يفوز Mac في الحجم مقابل التكلفة. حرفيًا لا يمكنك تشغيل نموذج بـ 70B على بطاقة NVIDIA استهلاكية واحدة دون تقليم هائل. أما Mac Mini فيلتهمه التهامًا.

البناء

إعداد Mac لمختبر إنتاجي يتطلب الابتعاد عن عقلية “تطبيق سطح المكتب” والتوجه نحو عقلية الخدمة بلا واجهة.

1. حزمة الاستدلال

أستخدم Ollama لأن لديه أفضل تنفيذ لـ واجهة Metal من Apple. فهو يوكل حسابات التنسورات مباشرة إلى أنوية GPU في شريحة M4.

# Verify Metal acceleration is active in the logs
grep "Metal" ~/.ollama/logs/server.log

# You should see: "Metal device is available" and "offloading layers to GPU"

2. جسر Python

يتحدث وكلائي إلى Mac Mini عبر الشبكة المحلية باستخدام GekroLLMClient الذي شرحته في مقالي عن سيادة الـ API.

import ollama

def run_heavy_inference(prompt):
    # This runs on the Mac Mini, called by a Pi or my Workstation
    response = ollama.chat(
        model='llama3:70b-instruct-q4_K_M',
        messages=[{'role': 'user', 'content': prompt}]
    )
    return response['message']['content']

3. اختيار تكميم النموذج

بالنسبة لجهاز Mac بذاكرة 64GB، يُعد Q4_K_M التكميم “المناسب تمامًا” لـ Llama 3-70B. فهو يتسع في الذاكرة براحة (مع ترك 20GB للنظام وللوكلاء الآخرين) ويحتفظ بـ 99% من ذكاء النموذج الأساسي.

المفاضلات

Mac Mini ليس مثاليًا. أكبر “ضريبة” هي غياب CUDA. إذا كنت تقوم بـ تدريب النماذج أو ضبطها الدقيق، فإن Mac يصبح مجرد ثقالة أوراق مقارنة بجهاز NVIDIA. معظم شيفرات الأبحاث الجديدة تُكتب لـ CUDA أولًا، أما “دعم Metal” فغالبًا ما يأتي لاحقًا بعد شهور.

ولكي أكون منصفًا، لم أصطدم بهذا الجدار فعليًا. كل ما أشغّله في هذا المختبر هو استدلال، والاستدلال على Metal كان جيدًا. أذكر ذلك لأنه سيؤذيني يوم أحاول ضبط شيء ضبطًا دقيقًا على Apple silicon، لا لأنه آذاني يومًا.

واجهتني أيضًا مشكلة كبيرة مع تشبّع الحرارة. أثناء معالجة دفعية استغرقت 4 ساعات لـ 1,000 سجل قياس من Tesla، دخلت مروحة Mac Mini الداخلية أخيرًا في العمل، وانخفضت سرعة الاستدلال من 8 TPS إلى 5 TPS. حتى كفاءة Apple لها حدود عند دفعها إلى استخدام 100% لساعات. انتهى بي الأمر بطباعة حامل مخصص بتقنية 3D مع مروحة 120mm لإبقاء قاعدة الهيكل باردة أثناء عمليات الاستدلال الطويلة.

إلى أين يتجه هذا

أنظر حاليًا في تجميع أجهزة Mac Mini في عنقود عبر جسور Thunderbolt عالية السرعة. إذا استطعت جمع ذاكرة جهازي M4 Pro، فيمكنني تشغيل نموذج بـ 405B معامل محليًا. هذا هو الحلم: “ذكاء خارق” خاص ومحلي بحجم يتسع في درج مكتب.