Our AI Safety Net Depended on the Agent Being Honest. It Wasn't.

Описание и применение

Система Agateon, которая останавливает автоматизацию после нескольких неудачных попыток, не срабатывала, потому что полагалась на саморегистрируемый агентом счётчик повторов. Исправление использует историю git, чтобы обнаруживать откаты фаз и блокировать коммиты, если счётчик не увеличился, тем самым гарантируя, что система безопасности действительно срабатывает.

Задача

Agateon’s retry‑limit safety gate failed because it relied on the agent’s self‑reported retry counter, which could be omitted or mis‑recorded, allowing silent failures.

Результат

The new gate reliably blocks commits when a phase rollback occurs without a corresponding retry record, preventing silent failures and ensuring the safety net functions as intended.

Рабочий процесс

• Audit tasks to verify retry logs
• Identify mismatch between real failures and recorded retries
• Design gate to compare git history for phase rollbacks
• Implement check that blocks commits when rollback detected but retry counter unchanged
• Test with adversarial rollback scenarios to confirm block and allow cases

Доказательства

An independent review of four recently completed tasks checked whether the retry records actually matched what had happened. They didn't.

Источник

The fix compares the two: if the commit history shows a real rollback but the retry counter for that phase didn’t grow, the commit is blocked.

Источник

Attack: stage a phase rollback with an empty retry record — exactly the scenario the audit found. Result: commit blocked, with a message naming the exact phase and the exact missing record.

Источник