**项目简介** Out‑of‑core LLM 推理引擎是一款用 Rust 从零实现的超大模型推理框架,支持在磁盘而非内存中加载模型参数,从而在普通服务器上也能运行数十甚至上百 GB 的语言模型。项目在 Hacker News 上被热议,近期(2026‑07‑04)仍有更新。 **价值** - **低成本实现 AI