Loading page...Загружаем страницу...正在加载页面...
AtlasRepo

Show HN: InferPilot – the vLLM doctor that tells you when fp8 won't help

InferPilot – это инструмент, который анализирует модели vLLM и сообщает, когда использование fp8 не даст преимуществ, экономя время и ресурсы. Для внедрения сна

Первоисточник