local-inference-lab/rtx6kpro
Описание и применение
**local-inference-lab/rtx6kpro** – открытая платформа, позволяющая запускать крупные языковые модели (Qwen 3.5‑397B, Kimi‑K2.5, GLM‑5) на PCIe‑версии RTX 6000 Pro без необходимости NVLink. Проект содержит подробную wiki, скрипты и оптимизации, которые используют возможности GPU‑памяти и эффективный микробатчинг для локального инференса в реальном времени. Подходит для исследователей и разработчиков, желающих разрабатывать и тестировать LLMs на доступных серверных конфигурациях.
Применение в работе
local-inference-lab/rtx6kpro may be useful when its README and activity match a concrete workflow.
Ограничения и замечания
Early or unclear: treat as research material until maintenance, releases, docs, and issue activity are verified.
- Источник: github
- Язык: Python
- Дата записи: 2026-09-05T17:31:33.048Z