800 Million Tokens for $36: Benchmarking DSH + DeepSeek V4 Pro on a Real Codebase

Описание и применение

Бенчмарк DeepSeek Harness показал, что модель может работать над реальным проектом, внося 45 коммитов за несколько дней, обрабатывая 612 млн токенов за $28,35 и улучшая архитектуру, алгоритмы и формальные доказательства.

Задача

Most coding‑agent benchmarks evaluate isolated fixes, not sustained, real‑world development.

Результат

The agent performed 45 commits, processed 612 M tokens for $28.35, and produced substantial architectural changes, algorithmic improvements, and formal proofs, demonstrating sustained, iterative engineering behavior.

Рабочий процесс

• Set up DSH with DeepSeek V4 Pro
• Ran the agent on the repo for several days
• Collected API usage and token metrics
• Reviewed commits and diffs
• Analyzed algorithmic changes and benchmarks
• Documented outcomes and lessons

Доказательства

612,923,681 tokens processed for $28.35

Источник

45 commits across 193 changed files

Источник

Rewrite Natural storage around 64-bit limbs

Источник