Dead Probes Pass: Mutation-Check Your Characterization Tests Before You Refactor

Описание и применение

Проверьте, что ваши тесты действительно обнаруживают ошибки, применив мутационный аудит: создайте три мутации на каждое поведение, запустите матрицу тестов и оставьте только живые тесты, которые падают на хотя бы одну мутацию.

Задача

Legacy code has passing tests that give false confidence because the tests do not detect bugs; refactoring risks introducing regressions.

Результат

After a 20‑minute audit, dead probes are identified and removed, leaving a minimal set of alive probes that detect mutations, providing a safety net for refactoring.

Рабочий процесс

• Draft probes with a free LLM model
• Draft three mutations per behavior
• Run probe‑versus‑mutation matrix on a free server
• Keep only probes that catch at least one mutation

Доказательства

A probe earns trust by failing on mutated code.

Источник

Four steps. No paid tools. No local GPU.

Источник