Loading page...Загружаем страницу...正在加载页面...
AtlasRepo

Show HN: Kairo – Fail-closed LLM inference routing from RTX 5090 measurements

Kairo 是基于 RTX 5090 测量的 fail‑closed LLM 推理路由系统,能够自动将请求路由到最合适的 GPU,从而提升容错性和吞吐量。采用时请先查看 README 与项目活跃度,然后通过现有脚本集成并在小规模上测试。该项目适用于原型和内部工作流程,但在投入生产前需确认其维护和支持情况。

原始来源