كيفية تشغيل Mistral Large 4 محليًا
Описание и применение
Mistral Large 4 теперь доступен как открытый вес на Hugging Face, позволяя запускать модель локально на 8 GPU или Apple Silicon Ultra с помощью vLLM, SGLang, Transformers или llama.cpp.
Задача
تشغيل نموذج Mistral Large 4 (1.05T) على بيئة محلية أو سحابة مع قيود الأجهزة والميزانية
Результат
تمكين تشغيل Mistral Large 4 محليًا على 8 GPU أو جهاز Apple Silicon Ultra، مع تحسين الأداء عبر تكوينات التوازي والتخمين
Рабочий процесс
- 1. اختر مسار التشغيل (API، موفر مستضاف، أو self-host)
- 2. إذا اخترت self-host، احصل على الأوزان من Hugging Face باستخدام CLI أو Docker
- 3. حدد محرك التشغيل (vLLM، SGLang، Transformers، llama.cpp)
- 4. أضبط معلمات التوازي (مثلاً --tensor-parallel-size 8) وخصائص الاستدلال (low/medium/high)
- 5. شغّل الخادم أو التطبيق، واختبر الأداء (مثلاً 65 token/s على 8x H200)
Доказательства
أوزان Mistral Large 4 المفتوحة تم رفعها على Hugging Face في 29 أكتوبر 2026
يمكنك تنزيله دون خطوة موافقة، أو تشغيله على 8 وحدات معالجة رسومات لمراكز البيانات باستخدام vLLM أو SGLang
- Дата записи: 2026-11-02T09:43:46.331Z