NightMean/OlliteRT

说明与用途

**项目简介（2‑3 句）**
NightMean/OlliteRT 将 Android 手机转变为兼容 OpenAI 接口的本地大模型推理服务器，全部运行在设备上，数据完全离线且开源。它提供统一的 API/SDK/CLI，帮助开发者快速在移动端或边缘环境中加入 LLM 能力，而无需自行搭建模型堆栈。

**价值**

• **本地私密**：所有推理在手机本地完成，无需将数据上云，天然符合隐私合规要求。
• **即插即用**：通过兼容 OpenAI 的 REST 接口或 Kotlin SDK，几行代码即可让现有业务获得生成式 AI 功能。
• **加速原型**：适合快速验证 RAG、智能体、对话等 AI 场景，省去模型训练与部署的前期投入。

**典型接入方式**

1. **API 方式**：启动 OlliteRT 服务后，直接调用 http://<device_ip>:<port>/v1/chat/completions（兼容 OpenAI）进行文本生成。
2. **SDK 方式**：在 Kotlin/Java 项目中引入 ollite-rt-sdk，使用 OlliteClient 类封装请求，支持同步/异步调用。
3. **CLI 方式**：通过 ollite-cli 在终端执行 ollite infer --model <model_name> --prompt "..." 进行快速测试或脚本化调用。

**生产可用性**

• **成熟度**：GitHub ★127、最近一次更新 2026‑07‑04，代码以 Kotlin 为主，具备基本的文档与示例。
• **适用场景**：非常适合内部原型、研发验证或对隐私要求极高的内部工具；在正式生产环境使用前，需要评估依赖的模型体积、设备资源（CPU/GPU、内存）以及安全合规（许可证、漏洞扫描）。
• **准备度**：当前属于 **中等**（Medium）水平，具备可用的接口与部署脚本，但在大规模部署前建议进行性能基准、异常监控以及维护者活跃度的进一步确认。

实际用途

NightMean/OlliteRT helps add AI capability without starting from a blank model stack.

• prototype AI features
• build RAG or agent workflows
• evaluate model tooling

限制与审查说明

Medium: useful for prototypes or internal workflows, with dependency and maintenance checks before production.