Building an automated web ingestion pipeline in n8n for LLM knowledge bases

Описание и применение

Автоматизированный пайплайн в n8n использует MESSORA для извлечения чистого Markdown из веб‑страниц, генерирует эмбеддинги OpenAI и обновляет векторный хранилище Qdrant/Pinecone, обходя WAF‑ы и снижая токен‑потребление.

Задача

Automating weekly competitor intelligence, price tracking, or documentation updates in n8n often fails when scrapers hit anti‑bot challenges or return uncleaned HTML that exceeds context boundaries.

Результат

The pipeline runs daily, bypasses anti‑bot challenges, outputs clean Markdown, reduces token usage by ~75%, and automatically updates the vector store without managing headless browsers.

Рабочий процесс

• Schedule Trigger (Daily at 08:00)
• Read URL List from Google Sheet
• HTTP Request: POST /v1/extract (MESSORA)
• Generate Embeddings (OpenAI)
• Upsert to Vector Store (Qdrant / Pinecone)

Доказательства

Zero infrastructure management: No headless Chromium instances hanging on your n8n host.

Источник

75% token reduction: Ingests clean Markdown instead of full DOM hierarchies.

Источник