Loading page...Загружаем страницу...正在加载页面...
AtlasRepo

EdgeSync-LLM – KV cache fragment engine for on-device LLM inference (Go/Android)

**EdgeSync-LLM 简介** EdgeSync-LLM 是一个开源项目,用于在移动设备上实现本地语言模型(LLM)推理的 KV 缓存碎片引擎。它帮助内部知识库变得可搜索和可用,以便于助手的使用。 **价值** EdgeSync-LLM 的价值在于它可以帮助开发者: * 索引知识库 * 在文档中提高搜索效率 *

原始来源