9/9 Agent Tests Passed. The Trace Oracle Flagged 4 Behavior Changes

Описание и применение

Тесты, генерируемые агентом, могут пройти, но при этом скрытые изменения поведения остаются незамеченными. Трасс-оракл сравнивает трассы старой и новой сборок, удаляет шум и выявляет изменения, не входящие в список разрешенных, обнаружив четыре скрытых регрессии.

Задача

Agent‑written unit tests can pass even when the patch introduces unintended behavioral changes, because the tests are derived from the same diff and only check the new behavior.

Результат

The trace oracle identified four silent behavior changes that the agent’s unit tests missed, preventing a regression from being merged.

Рабочий процесс

• Generate property‑based seed corpus and freeze RNG seed
• Hash every fixture the binary touches to detect drift
• Run old build and capture golden.log
• Apply patch, run new build and capture patched.log
• Run trace_oracle.py to diff logs and classify deltas
• Merge only if flagged==0 and no fixture hash changed

Доказательства

Agent-written tests are green because the patch wrote them. That is the entire problem in one sentence.

Источник

The oracle still flags four silent behavior changes.

Источник