ModelCloud/GPTQModel may be useful when its README and activity match a concrete workflow

Описание и применение

ModelCloud/GPTQModel — это открытый набор инструментов для квантования (сжатия) больших языковых моделей, который поддерживает аппаратное ускорение на GPU от Nvidia, AMD и Intel, а также на CPU от Intel, AMD и Apple. Интегрированный с Hugging Face, vLLM и SGLang, он позволяет быстро преобразовывать модели и эффективно запускать их в задачах торговли и других AI/ML приложениях.

Задача

ModelCloud/GPTQModel may be useful when its README and activity match a concrete workflow.

Результат

Medium: useful for prototypes or internal workflows, with dependency and maintenance checks before production.

Доказательства

LLM model quantization (compression) toolkit with HW acceleration support for Nvidia, AMD, Intel GPU and Intel/AMD/Apple CPU via HF, vLLM, and SGLang.

Источник