Paste failing Playwright into the agent, not into Slack

Описание и применение

В процессе отладки тестов e2e в Playwright команда использовала Slack для обмена скриншотами, что затрудняло поиск причины сбоя. Перенесив полный блок ошибки в AI‑ассистент, команда быстро получила исправление и объяснение причины. Новая процедура включает копирование полной информации об ошибке, ограничение правок и классификацию типа проблемы, что ускоряет отладку и снижает риск оставления флуктуаций.

Задача

Flaky Playwright e2e tests remain flaky because failure details are shared in Slack threads instead of being fed directly to an AI agent for debugging.

Результат

The workflow reduced debugging time from 20 minutes to 10 minutes, prevented flaky tests from staying flaky, and ensured patches had clear root‑cause explanations.

Рабочий процесс

• Reproduce locally once if CI is flaky-suspicious
• Paste the failure block and test file path into the agent, attach relevant page‑object file
• Constrain the edit: one test file, at most one page object, keep assertion intent, prefer getByRole over CSS
• Ask the agent for a hypothesis first, then the patch
• Re‑run the single test and paste the green output back
• Merge only after verifying the patch fixes the failure

Доказательства

Someone screenshot the red CI job, dropped it in Slack, and three of us spent twenty minutes guessing which locator drifted.

Источник

Paste the raw Playwright error — stack, expected vs received, the page URL from the trace — into the agent and asked it to propose a one-file fix.

Источник

Agents fix tests when you give them the same artifacts you’d open yourself: the exact assertion message, the stack, the page URL, trace/screenshot path, command

Источник