Loading page...Загружаем страницу...正在加载页面...
AtlasRepo

วิธีรัน Mistral Large 4 บนเครื่องของคุณเอง

Description and use

Users can self‑host Mistral Large 4 by downloading the open‑weight checkpoint from Hugging Face and running it with vLLM, SGLang, Transformers, or llama.cpp, configuring tensor‑parallelism and GPU resources.

Problem

ผู้ใช้ต้องการรันโมเดล Mistral Large 4 บนฮาร์ดแวร์ของตนเองหรือผ่าน API โดยไม่ต้องพึ่งพา Mistral API

Outcome

ผู้ใช้สามารถรัน Mistral Large 4 บนเครื่องของตนเองได้โดยใช้ checkpoint ที่ดาวน์โหลดจาก Hugging Face และเครื่องมือเช่น vLLM, SGLang, Transformers หรือ llama.cpp โดยกำหนด tensor‑parallelism ตาม GPU ที่มี

Workflow

  • เลือกวิธีการรัน: API, Hosted provider, หรือ Self‑host
  • ถ้าเลือก Self‑host ดาวน์โหลด checkpoint จาก Hugging Face CLI
  • ติดตั้งเครื่องมือที่ต้องการ (vLLM, SGLang, Transformers, llama.cpp)
  • กำหนด tensor‑parallelism (เช่น --tensor-parallel-size 8)
  • รันเซิร์ฟเวอร์ (docker run หรือ sglang serve)
  • ตรวจสอบประสิทธิภาพ (token/s) และปรับแต่ง flag parser
  • ใช้โมเดลผ่าน API ของเครื่องเอง

Evidence

น้ำหนักแบบเปิดของ Mistral Large 4 เปิดให้ดาวน์โหลดบน Hugging Face เมื่อวันที่ 29 ตุลาคม 2026

Source

vLLM Docker image เฉพาะ: docker run --runtime nvidia --gpus all ... --tensor-parallel-size 8

Source

llama.cpp สนับสนุน Q2_K quant (381 GB) พอดีกับเครื่อง Apple Silicon Ultra หนึ่งเครื่องที่มีหน่วยความจำรวม 512 GB

Source

  • Record date: 2026-11-02T09:28:47.590Z