Mistral Large 4 lokal ausführen: So geht’s

Description and use

<h1> Mistral Large 4 lokal ausführen: So geht's </h1> <p>Die offenen Gewichte von Mistral Large 4 wurden am 29. Oktober 2026 auf Hugging Face veröffentlicht. Du bekommst dasselbe Modell mit 1,05 Bio. Parametern, das Mistral über seine API bereitstellt, unter einer modifizierten MIT-Lizenz – in FP8- und NVFP4-Checkpoints sowie Community-GGUF-Quantisierungen. Du kannst es ohne Genehmigungsschritt herunterladen und auf 8 Data-Center-GPUs mit vLLM oder SGLang betreiben – oder die Hardware überspringen und <code>mistral-large-4</code> über die Mistral-API für 0,70 $ pro Million Input-Token aufrufen

Problem

<h1> Mistral Large 4 lokal ausführen: So geht's </h1> <p>Die offenen Gewichte von Mistral Large 4 wurden am 29. Oktober 2026 auf Hugging Face veröffentlicht. Du bekommst dasselbe Modell mit 1,05 Bio. Parametern, das Mistral über seine API bereitstellt, unter einer modifizierten MIT-Lizenz – in FP8- und NVFP4-Checkpoints sowie Community-GGUF-Quantisierungen. Du kannst es ohne Genehmigungsschritt herunterladen und auf 8 Data-Center-GPUs mit vLLM oder SGLang betreiben – oder die Hardware überspringen und <code>mistral-large-4</code> über die Mistral-API für 0,70 $ pro Million Input-Token aufrufen

Outcome

<h1> Mistral Large 4 lokal ausführen: So geht's </h1> <p>Die offenen Gewichte von Mistral Large 4 wurden am 29. Oktober 2026 auf Hugging Face veröffentlicht. Du bekommst dasselbe Modell mit 1,05 Bio. Parametern, das Mistral über seine API bereitstellt, unter einer modifizierten MIT-Lizenz – in FP8- und NVFP4-Checkpoints sowie Community-GGUF-Quantisierungen. Du kannst es ohne Genehmigungsschritt herunterladen und auf 8 Data-Center-GPUs mit vLLM oder SGLang betreiben – oder die Hardware überspringen und <code>mistral-large-4</code> über die Mistral-API für 0,70 $ pro Million Input-Token aufrufen

Evidence

Mistral Large 4 lokal ausführen: So geht’s

Source