Outside the Assertion: The Retry Budget a Pairing Hour Refused to Inline

Описание и применение

В ходе пары тест для эндпоинта GET /orders/:id иногда проходит после повторного запуска, что вызывает сомнения в надёжности теста. Было принято решение, что тест выполняется один раз, а любые повторные попытки – отдельная команда с фиксированным бюджетом и записью семени, команды, кода выхода и хеша вывода.

Задача

A test for a service endpoint intermittently passes after a rerun, raising uncertainty about flakiness and the reliability of the test harness.

Результат

The pairing session concluded with a documented rule that separates test execution from retries, ensuring reproducibility and traceability of failures.

Рабочий процесс

• 1. Run the test once and record the result.
• 2. If a retry is needed, execute a separate command with a defined retry budget.
• 3. Record seed, command, exit code, and hash of output for each attempt.
• 4. Ensure a second process reproduces the failure before code changes.

Доказательства

The contract check failed once, then passed on a local rerun.

Источник

The senior asked three questions before anyone edited the helper.

Источник

The test process runs the check once.

Источник