xiaguan/pegainfer
Описание и применение
xiaguan/pegainfer — это полностью написанный на Rust движок для инференса больших языковых моделей, использующий возможности CUDA для ускорения вычислений на GPU. Проект сочетает безопасность и производительность Rust с высокой пропускной способностью CUDA, позволяя эффективно запускать LLM в реальном времени. Он распространяется под открытой лицензией и ориентирован на задачи AI/ML.
Применение в работе
xiaguan/pegainfer may be useful when its README and activity match a concrete workflow.
Ограничения и замечания
Early or unclear: treat as research material until maintenance, releases, docs, and issue activity are verified.
- Источник: github
- Язык: Rust
- Дата записи: 2026-09-05T17:32:25.185Z