apache/stormcrawler

Apache StormCrawler — это масштабируемый и гибкий веб‑краулер, построенный на Apache Storm, который позволяет быстро собирать и сохранять большие объёмы веб‑дан