วิธีรัน Mistral Large 4 บนเครื่องของคุณเอง
Описание и применение
Пользователи могут самостоятельно развернуть модель Mistral Large 4, скачав открытый вес с Hugging Face и используя такие инструменты, как vLLM, SGLang, Transformers или llama.cpp, настроив параллелизм по тензорам и GPU.
Задача
ผู้ใช้ต้องการรันโมเดล Mistral Large 4 บนฮาร์ดแวร์ของตนเองหรือผ่าน API โดยไม่ต้องพึ่งพา Mistral API
Результат
ผู้ใช้สามารถรัน Mistral Large 4 บนเครื่องของตนเองได้โดยใช้ checkpoint ที่ดาวน์โหลดจาก Hugging Face และเครื่องมือเช่น vLLM, SGLang, Transformers หรือ llama.cpp โดยกำหนด tensor‑parallelism ตาม GPU ที่มี
Рабочий процесс
- เลือกวิธีการรัน: API, Hosted provider, หรือ Self‑host
- ถ้าเลือก Self‑host ดาวน์โหลด checkpoint จาก Hugging Face CLI
- ติดตั้งเครื่องมือที่ต้องการ (vLLM, SGLang, Transformers, llama.cpp)
- กำหนด tensor‑parallelism (เช่น --tensor-parallel-size 8)
- รันเซิร์ฟเวอร์ (docker run หรือ sglang serve)
- ตรวจสอบประสิทธิภาพ (token/s) และปรับแต่ง flag parser
- ใช้โมเดลผ่าน API ของเครื่องเอง
Доказательства
น้ำหนักแบบเปิดของ Mistral Large 4 เปิดให้ดาวน์โหลดบน Hugging Face เมื่อวันที่ 29 ตุลาคม 2026
vLLM Docker image เฉพาะ: docker run --runtime nvidia --gpus all ... --tensor-parallel-size 8
llama.cpp สนับสนุน Q2_K quant (381 GB) พอดีกับเครื่อง Apple Silicon Ultra หนึ่งเครื่องที่มีหน่วยความจำรวม 512 GB
- Дата записи: 2026-11-02T09:28:47.590Z