I Built Scrapers That Heal Themselves (and Won an NVIDIA DGX Spark)

Описание и применение

Скрипты‑скрейперы часто ломаются из‑за изменений сайтов, но их не замечают. В статье описывается система, где Bright Data, Port и SigNoz объединяются для автоматического обнаружения, исправления и аудита сбойных скрейперов, что привело к победе в хакатоне.

Задача

Scrapers often fail silently after site redesigns, causing data drift that is only discovered weeks later.

Результат

The system won first place at the WeMakeDevs Zero Downtime Hackathon and demonstrated reliable, self‑healing scrapers that maintain data integrity.

Рабочий процесс

• Schedule scrape via Port workflow
• Run Bright Data scraper to extract guide data
• Detect drift using verifier against frozen fixture
• If drift, call Bright Data heal to propose fix
• Verify proposal deterministically
• Approve fix if verification passes
• Update scraper health status in Port
• Publish ranked top 10 shows and movies
• Provide one‑click record button on Philo

Доказательства

Scrapers rot without anyone noticing

Источник

Bright Data’s Scraper Studio builds a collector from a natural language description of the data instead of selectors

Источник

When drift is detected, the healer calls scraper heal with the collector ID and a plain language symptom description

Источник