I Tracked Every AI Hallucination for a Week — The Numbers Were Worse Than I Thought

Описание и применение

Автор проверил 200 выводов ИИ и обнаружил 18 % ошибок, включая вымышленные ссылки и утечки системных подсказок. Он создал слой проверки, который валидирует цитаты, код, безопасность, аргументы инструментов и согласованность, уменьшая количество ошибок и экономя токены.

Задача

AI agents frequently produce hallucinated outputs, consuming token budget and requiring manual correction.

Результат

The verification layer reduced hallucinations, catching 18% confident errors, fabricated citations, tool argument issues, and prompt leaks, saving token budget and debugging time.

Рабочий процесс

• Generate output from LLM
• Run verification layer: citation checker, code validator, safety leak detector, argument verifier, coherence scorer
• If verification passes, forward output to codebase; otherwise flag for manual review

Доказательства

Out of 200 outputs across Claude, GPT, and DeepSeek: 36 were confidently wrong (18%)

Источник

All runs in under 100ms on CPU. Model-agnostic. Free.

Источник