Show HN: Cachet – A drop-in semantic cache for LLM APIs, 100% local, in Rust

说明与用途

**项目简介**
Cachet 是用 Rust 编写的本地语义缓存，能够即插即用地拦截并缓存对 LLM API 的请求，帮助在不搭建完整模型堆栈的情况下快速为应用添加 AI 能力。

**价值**

• **提升开发效率**：在原型阶段即可复用已有的 LLM 调用结果，显著降低调用成本和响应延迟。
• **支持 RAG 与 Agent 工作流**：通过语义相似度匹配缓存条目，减少重复检索和生成，适用于检索增强生成（RAG）或多步 Agent 场景。
• **本地化安全**：所有缓存数据完全本地存储，避免将敏感上下文泄露到云端。

**典型接入方式**

1. 在项目的依赖中加入 cachet（Cargo.toml）。
2. 用 Cachet::new() 包装原有的 LLM 客户端（如 OpenAI、Claude 等），在调用前先查询缓存，未命中时再转发请求并把响应写入缓存。
3. 根据业务需求配置相似度阈值、缓存大小及持久化路径，代码示例大致如下：

let mut client = OpenAiClient::new(...);
let mut cache = Cachet::new("./cache_dir", 0.85);
let response = cache.call(&mut client, "Summarize the article: ...").await?;

**生产可用性**

• **成熟度**：目前处于中等成熟度（适合原型或内部工具），代码在 2026‑06‑23 最近一次更新，社区活跃度有限。
• **使用前检查**：需要手动审查许可证、维护状态、文档完整性以及已知 Issue；确保缓存持久化和清理策略符合业务合规要求。
• **上线建议**：在内部环境进行充分测试后方可投入生产，配合监控缓存命中率和错误率，必要时准备回退到直接调用 LLM API 的方案。

实际用途

Show HN: Cachet – A drop-in semantic cache for LLM APIs, 100% local, in Rust helps add AI capability without starting from a blank model stack.

• prototype AI features
• build RAG or agent workflows
• evaluate model tooling

限制与审查说明

Medium: useful for prototypes or internal workflows, with dependency and maintenance checks before production.