วิธีรัน Mistral Large 4 บนเครื่องของคุณเอง
说明与用途
用户可以通过从 Hugging Face 下载开放权重检查点,并使用 vLLM、SGLang、Transformers 或 llama.cpp 运行 Mistral Large 4,自行配置张量并行和 GPU 资源。
问题
ผู้ใช้ต้องการรันโมเดล Mistral Large 4 บนฮาร์ดแวร์ของตนเองหรือผ่าน API โดยไม่ต้องพึ่งพา Mistral API
结果
ผู้ใช้สามารถรัน Mistral Large 4 บนเครื่องของตนเองได้โดยใช้ checkpoint ที่ดาวน์โหลดจาก Hugging Face และเครื่องมือเช่น vLLM, SGLang, Transformers หรือ llama.cpp โดยกำหนด tensor‑parallelism ตาม GPU ที่มี
工作流
- เลือกวิธีการรัน: API, Hosted provider, หรือ Self‑host
- ถ้าเลือก Self‑host ดาวน์โหลด checkpoint จาก Hugging Face CLI
- ติดตั้งเครื่องมือที่ต้องการ (vLLM, SGLang, Transformers, llama.cpp)
- กำหนด tensor‑parallelism (เช่น --tensor-parallel-size 8)
- รันเซิร์ฟเวอร์ (docker run หรือ sglang serve)
- ตรวจสอบประสิทธิภาพ (token/s) และปรับแต่ง flag parser
- ใช้โมเดลผ่าน API ของเครื่องเอง
证据
น้ำหนักแบบเปิดของ Mistral Large 4 เปิดให้ดาวน์โหลดบน Hugging Face เมื่อวันที่ 29 ตุลาคม 2026
vLLM Docker image เฉพาะ: docker run --runtime nvidia --gpus all ... --tensor-parallel-size 8
llama.cpp สนับสนุน Q2_K quant (381 GB) พอดีกับเครื่อง Apple Silicon Ultra หนึ่งเครื่องที่มีหน่วยความจำรวม 512 GB
- 记录日期: 2026-11-02T09:28:47.590Z