Loading page...Загружаем страницу...正在加载页面...
AtlasRepo

วิธีรัน Mistral Large 4 บนเครื่องของคุณเอง

说明与用途

用户可以通过从 Hugging Face 下载开放权重检查点,并使用 vLLM、SGLang、Transformers 或 llama.cpp 运行 Mistral Large 4,自行配置张量并行和 GPU 资源。

问题

ผู้ใช้ต้องการรันโมเดล Mistral Large 4 บนฮาร์ดแวร์ของตนเองหรือผ่าน API โดยไม่ต้องพึ่งพา Mistral API

结果

ผู้ใช้สามารถรัน Mistral Large 4 บนเครื่องของตนเองได้โดยใช้ checkpoint ที่ดาวน์โหลดจาก Hugging Face และเครื่องมือเช่น vLLM, SGLang, Transformers หรือ llama.cpp โดยกำหนด tensor‑parallelism ตาม GPU ที่มี

工作流

  • เลือกวิธีการรัน: API, Hosted provider, หรือ Self‑host
  • ถ้าเลือก Self‑host ดาวน์โหลด checkpoint จาก Hugging Face CLI
  • ติดตั้งเครื่องมือที่ต้องการ (vLLM, SGLang, Transformers, llama.cpp)
  • กำหนด tensor‑parallelism (เช่น --tensor-parallel-size 8)
  • รันเซิร์ฟเวอร์ (docker run หรือ sglang serve)
  • ตรวจสอบประสิทธิภาพ (token/s) และปรับแต่ง flag parser
  • ใช้โมเดลผ่าน API ของเครื่องเอง

证据

น้ำหนักแบบเปิดของ Mistral Large 4 เปิดให้ดาวน์โหลดบน Hugging Face เมื่อวันที่ 29 ตุลาคม 2026

来源

vLLM Docker image เฉพาะ: docker run --runtime nvidia --gpus all ... --tensor-parallel-size 8

来源

llama.cpp สนับสนุน Q2_K quant (381 GB) พอดีกับเครื่อง Apple Silicon Ultra หนึ่งเครื่องที่มีหน่วยความจำรวม 512 GB

来源

  • 记录日期: 2026-11-02T09:28:47.590Z