Loading page...Загружаем страницу...正在加载页面...
AtlasRepo

วิธีรัน Mistral Large 4 บนเครื่องของคุณเอง

Описание и применение

Пользователи могут самостоятельно развернуть модель Mistral Large 4, скачав открытый вес с Hugging Face и используя такие инструменты, как vLLM, SGLang, Transformers или llama.cpp, настроив параллелизм по тензорам и GPU.

Задача

ผู้ใช้ต้องการรันโมเดล Mistral Large 4 บนฮาร์ดแวร์ของตนเองหรือผ่าน API โดยไม่ต้องพึ่งพา Mistral API

Результат

ผู้ใช้สามารถรัน Mistral Large 4 บนเครื่องของตนเองได้โดยใช้ checkpoint ที่ดาวน์โหลดจาก Hugging Face และเครื่องมือเช่น vLLM, SGLang, Transformers หรือ llama.cpp โดยกำหนด tensor‑parallelism ตาม GPU ที่มี

Рабочий процесс

  • เลือกวิธีการรัน: API, Hosted provider, หรือ Self‑host
  • ถ้าเลือก Self‑host ดาวน์โหลด checkpoint จาก Hugging Face CLI
  • ติดตั้งเครื่องมือที่ต้องการ (vLLM, SGLang, Transformers, llama.cpp)
  • กำหนด tensor‑parallelism (เช่น --tensor-parallel-size 8)
  • รันเซิร์ฟเวอร์ (docker run หรือ sglang serve)
  • ตรวจสอบประสิทธิภาพ (token/s) และปรับแต่ง flag parser
  • ใช้โมเดลผ่าน API ของเครื่องเอง

Доказательства

น้ำหนักแบบเปิดของ Mistral Large 4 เปิดให้ดาวน์โหลดบน Hugging Face เมื่อวันที่ 29 ตุลาคม 2026

Источник

vLLM Docker image เฉพาะ: docker run --runtime nvidia --gpus all ... --tensor-parallel-size 8

Источник

llama.cpp สนับสนุน Q2_K quant (381 GB) พอดีกับเครื่อง Apple Silicon Ultra หนึ่งเครื่องที่มีหน่วยความจำรวม 512 GB

Источник

  • Дата записи: 2026-11-02T09:28:47.590Z