vllm-project/tpu-inference
Описание и применение
**vllm-project/tpu-inference** — открытый инструмент, позволяющий выполнять инференс моделей vLLM на ускорителях TPU. Проект объединяет поддержки JAX и PyTorch, обеспечивая единый и удобный API для разработки и развертывания высокопроизводительных языковых моделей. Он предназначен для исследователей и инженеров в области AI/ML, желающих использовать мощности TPU без привязки к конкретному фреймворку.
Применение в работе
vllm-project/tpu-inference may be useful when its README and activity match a concrete workflow.
Ограничения и замечания
Early or unclear: treat as research material until maintenance, releases, docs, and issue activity are verified.
- Источник: github
- Язык: Python
- Дата записи: 2026-09-05T17:32:21.705Z