Show HN: InferPilot – the vLLM doctor that tells you when fp8 won't help
InferPilot – это инструмент, который анализирует модели vLLM и сообщает, когда использование fp8 не даст преимуществ, экономя время и ресурсы. Для внедрения сна
ПервоисточникInferPilot – это инструмент, который анализирует модели vLLM и сообщает, когда использование fp8 не даст преимуществ, экономя время и ресурсы. Для внедрения сна
Первоисточник