LLM-free, layout-aware PDF chunker in pure Rust

说明与用途

**项目简介（2‑3 句）**
LLM‑free 是一款用纯 Rust 编写的 **布局感知 PDF 切块工具**，无需依赖大语言模型即可把 PDF 按视觉结构拆分成语义块，帮助开发者快速为文档类 AI 场景（如 RAG、Agent）提供结构化输入。

**价值**

• **LLM‑free**：不需要先部署或微调大型语言模型，降低成本与部署复杂度。
• **布局感知**：基于页面排版（标题、段落、表格等）进行切块，远比单纯的文字分段更符合实际阅读和检索需求。
• **纯 Rust 实现**：运行时快、内存占用低，易于在高并发或资源受限的后端服务中使用。

**典型接入方式**

1. **依赖引入**：在 Cargo.toml 中添加 llm-free = "x.y"（或直接引用 Git 仓库）。
2. **初始化**：使用库提供的 PdfChunker::new() 创建实例，可选配置如 max_chunk_len、layout_strategy。
3. **切块**：调用 chunker.process_path("doc.pdf") 或 chunker.process_bytes(&pdf_bytes)，得到 Vec<Chunk>，每个 Chunk 包含文本、位置信息和页面坐标。
4. **后续处理**：将 Chunk 送入向量化模型、向量数据库或自定义 Agent 流程，实现检索增强生成（RAG）或文档问答等功能。

**生产可用性**

• **成熟度**：目前评分 41/100，适合作为原型或内部工具使用。代码最近更新于 2026‑06‑29，活跃度一般。
• **准备工作**：在正式上线前需检查以下事项
• 许可证兼容性（确保符合项目授权）。
• 维护状态：查看 Issue、PR 活动频率，评估后续 bug 修复和功能迭代的可靠性。
• 文档与示例：确认 API 文档完整，最好自行编写集成测试。
• 依赖审计：Rust 生态的依赖链较长，使用 cargo audit 检查安全漏洞。
• **生产建议**：在内部环境或受控流量下先进行 **手动审查**（对切块结果进行抽样验证），确认布局感知的准确性后再推广至生产。若对稳定性有更高要求，可考虑在关键路径上加入 **回退机制**（如使用传统 PDF 文本抽取作为兜底）。

总体而言，LLM‑free 为需要快速实现文档理解而不想引入完整 LLM 堆栈的团队提供了一个轻量、性能优秀的切块方案，只要做好前期的质量与安全审查，即可在原型或内部业务中安全使用。

实际用途

LLM-free, layout-aware PDF chunker in pure Rust helps add AI capability without starting from a blank model stack.

• prototype AI features
• build RAG or agent workflows
• evaluate model tooling

限制与审查说明

Medium: useful for prototypes or internal workflows, with dependency and maintenance checks before production.