NInfer: 271 tok/s (543 with speculative) for Qwen3.6-35B-A3B on one RTX 5090

Описание и применение

Резюме:

NInfer - высокопроизводительный проект для обработки текста, способный обрабатывать до 271 токена в секунду на одной единице RTX 5090. Он может быть полезен для прототипирования или внутренних потоков данных, но требует тщательного осмотра и проверки лицензии, документации и выпусков перед использованием в производстве. Уровень готовности к production: средний, что означает, что проект может быть использован для прототипов или внутренних потоков данных, но требует дополнительной проверки и проверки перед внедрением в производство.

Применение в работе

NInfer: 271 tok/s (543 with speculative) for Qwen3.6-35B-A3B on one RTX 5090 may be useful when its README and activity match a concrete workflow.

Ограничения и замечания

Medium: useful for prototypes or internal workflows, with dependency and maintenance checks before production.