Loading page...Загружаем страницу...正在加载页面...
AtlasRepo

Mistral Large 4をローカルで実行する方法

Description and use

Mistral Large 4をローカルで実行するための具体的な手順とハードウェア要件が提供され、vLLMやSGLangでの高速推論、Apple Silicon Ultraでのllama.cpp実行が可能になった。

Problem

ローカルでMistral Large 4を実行するための手順と必要なハードウェア・ツールを明示することが求められた。

Outcome

Mistral Large 4をローカルで実行するための具体的な手順とハードウェア要件が提供され、vLLMやSGLangでの高速推論、Apple Silicon Ultraでのllama.cpp実行が可能になった。

Workflow

  • 1. Mistral APIを呼び出す。
  • 2. ホステッドプロバイダーを利用する。
  • 3. Hugging Faceからモデルをダウンロードし、vLLM、SGLang、Transformers、またはllama.cppで配信する。
  • 4. vLLM用Dockerコマンドを実行し、--tensor-parallel-size 8を設定する。
  • 5. SGLang用serveコマンドで--tp-size 8を設定する。
  • 6. llama.cppでQ2_K GGUFをApple Silicon Ultraにインストールする。
  • 7. OpenAI互換エンドポイントにcurlでリクエストを送る。

Evidence

Mistral Large 4のオープンウェイトは2026年10月29日にHugging Faceで公開されました。

Source

FP8、NVFP4、Q8_0、Q4_K_M、Q2_K、IQ2_XXSのダウンロードサイズが表に示されている。

Source

vLLMのDockerコマンド例が示されている。

Source

  • Record date: 2026-11-02T09:29:15.085Z