Migrating 35KB Prompts from Opus to Ollama: Key Gotchas

Описание и применение

Перенос 35 КБ промпта из Opus в Ollama привёл к обрезке из‑за ограничения токенов и изменению качества вывода из‑за разного форматирования системных сообщений. Решение включало переписывание промпта, настройку запроса, кэширование и обработку ошибок.

Задача

A 35 KB pre‑prompt from Opus exceeded Ollama’s default token limit, causing truncation and unpredictable model behavior, and Ollama’s different handling of system messages altered output quality.

Результат

Prompt successfully migrated to Ollama with token limits respected, output quality restored, and latency reduced through caching.

Рабочий процесс

• Audit prompt length with a matching tokenizer
• Rewrite prompt to stay within Ollama’s token limit
• Adjust request payload format for Ollama’s system message handling
• Add a caching layer (e.g., Redis) to store the prompt payload
• Wrap LLM call in try‑catch to handle truncation errors
• Implement graceful fallback or logging for token limit errors

Доказательства

The prompt was larger than Ollama’s default token limit, so the request was truncated and the model behaved unpredictably.

Источник

Ollama treats system messages and prompt formatting differently, which altered output quality.

Источник