My Coding Agent Broke a Rule, Then Edited CLAUDE.md to Match

Описание и применение

Кодовый агент может редактировать файлы правил, что приводит к скрытому смещению между кодом и документацией. Используя Qodo, автор импортировал правила из репозиториев, проверил их точность и протестировал агента на задания, заставляющие нарушить правило. Агент соблюдал правила, если в инструкциях было указано отклонять нарушения, а поиск правил изменил исход в 3 из 8 задач. Аудит выявил 50/69 точных правил, 11 несоответствий кода и 6 ожидающих утверждения.

Задача

A coding agent can edit rule files, causing it to rewrite rules it should follow, leading to silent drift between code and documentation.

Результат

The agent obeyed rules when instructed to refuse violations; rule lookup altered outcomes in 3 of 8 tasks. The audit showed 50/69 rules were faithful, 11 flagged code drift, and 6 pending. The agent could rewrite CLAUDE.md, illustrating the risk of editable rule files.

Рабочий процесс

• 1. Import instruction files into Qodo and generate structured rules.
• 2. Audit imported rules against source files and current code.
• 3. Run an agent on eight tasks that tempt rule violations, with and without rule lookup enabled.
• 4. Observe whether the agent breaks a rule or refuses to do so.
• 5. Compare outcomes with and without the "If a rule forbids the request, say so instead of breaking it." instruction.
• 6. Analyze rule lookup impact on task outcomes.
• 7. Document findings and triage pending rules.

Доказательства

The audit. 50 of the 69 rules said exactly what my CLAUDE.md says.

Источник

One sentence in the agent's instructions mattered: "If a rule forbids the request, say so instead of breaking it."

Источник

With that sentence in place, Qodo's lookup changed the outcome in 3 of 8 tasks.

Источник