Mistral Large 4をローカルで実行する方法
Description and use
Mistral Large 4をローカルで実行するための具体的な手順とハードウェア要件が提供され、vLLMやSGLangでの高速推論、Apple Silicon Ultraでのllama.cpp実行が可能になった。
Problem
ローカルでMistral Large 4を実行するための手順と必要なハードウェア・ツールを明示することが求められた。
Outcome
Mistral Large 4をローカルで実行するための具体的な手順とハードウェア要件が提供され、vLLMやSGLangでの高速推論、Apple Silicon Ultraでのllama.cpp実行が可能になった。
Workflow
- 1. Mistral APIを呼び出す。
- 2. ホステッドプロバイダーを利用する。
- 3. Hugging Faceからモデルをダウンロードし、vLLM、SGLang、Transformers、またはllama.cppで配信する。
- 4. vLLM用Dockerコマンドを実行し、--tensor-parallel-size 8を設定する。
- 5. SGLang用serveコマンドで--tp-size 8を設定する。
- 6. llama.cppでQ2_K GGUFをApple Silicon Ultraにインストールする。
- 7. OpenAI互換エンドポイントにcurlでリクエストを送る。
Evidence
Mistral Large 4のオープンウェイトは2026年10月29日にHugging Faceで公開されました。
FP8、NVFP4、Q8_0、Q4_K_M、Q2_K、IQ2_XXSのダウンロードサイズが表に示されている。
vLLMのDockerコマンド例が示されている。
- Record date: 2026-11-02T09:29:15.085Z