ModelCloud/GPTQModel
Описание и применение
ModelCloud/GPTQModel — это открытый набор инструментов для квантования (сжатия) больших языковых моделей, который поддерживает аппаратное ускорение на GPU от Nvidia, AMD и Intel, а также на CPU от Intel, AMD и Apple. Интегрированный с Hugging Face, vLLM и SGLang, он позволяет быстро преобразовывать модели и эффективно запускать их в задачах торговли и других AI/ML приложениях.
Применение в работе
ModelCloud/GPTQModel may be useful when its README and activity match a concrete workflow.
Ограничения и замечания
Medium: useful for prototypes or internal workflows, with dependency and maintenance checks before production.
- Источник: github
- Язык: Python
- Дата записи: 2026-09-05T17:31:40.332Z