**项目简介** CacheRoute(BJTU-ANT/CacheRoute)是一套面向大语言模型(LLM)的调度方案,能够在不同 LLM 实例之间灵活复用 KV 缓存,从而提升任务吞吐和系统整体效率。 **价值体现** - **加速原型开发**:无需从头搭建完整模型栈,即可在现有 LLM 上快速实现 RAG、Age