How I built a RAG ingestion pipeline for ecommerce chatbots

Описание и применение

Построена система RAG‑ингеста для чат‑ботов электронной коммерции, где документы загружаются в R2, обрабатываются через очередь Cloudflare, индексируются AI Search, а состояние задачи отслеживается Durable Object. Используются стабильные идентификаторы документов и идемпотентное завершение, чтобы избежать устаревших копий и двойных платежей.

Задача

Ensuring that updated store documents are correctly ingested, indexed, and available for retrieval without leaving stale or conflicting versions during reindexing.

Результат

The pipeline separates upload, background processing, and job state, uses stable document identities, and ensures idempotent completion, reducing stale content and improving reliability.

Рабочий процесс

• Upload document to R2
• Create manifest event
• Trigger Cloudflare Queue
• Worker claims job via backend
• Delete existing document in AI Search
• Upload new document to AI Search
• Durable Object tracks job state and progress
• Settle job and notify dashboard

Доказательства

The ingestion flow looks like this: Document upload to R2 | Manifest creation event | Cloudflare Queue | Worker claims the job | Replace document in AI Search | Durable Object tracks indexing | Settle job and notify dashboard

Источник

In ProxyAI, the document name is an identity, not just a display filename. An edited document can use the same identity, and a synced WordPress page can use its permalink.

Источник

I upload the document whole to Cloudflare AI Search and let it handle chunking and embedding.

Источник