Loading page...Загружаем страницу...正在加载页面...
AtlasRepo

Show HN: InferPilot – the vLLM doctor that tells you when fp8 won't help

InferPilot 是一个分析 vLLM 模型并告知何时 fp8 无效的工具,帮助节省时间和资源。采用时先检查 README 和仓库活跃度,再将其集成到工作流中,确保依赖兼容。该项目适用于原型和内部流程,但在投入生产前需验证其维护和支持情况。

原始来源