NVIDIA/TransformerEngine may be useful when its README and activity match a concrete workflow

Описание и применение

NVIDIA/TransformerEngine — это открытая библиотека, оптимизированная для ускорения Transformer‑моделей на GPU NVIDIA, включая поддержку 8‑битных и 4‑битных форматов чисел с плавающей точкой (FP8, FP4) на архитектурах Hopper, Ada и Blackwell. Она обеспечивает заметное увеличение производительности и снижение потребления памяти как при обучении, так и при инференсе, позволяя эффективно использовать современные графические процессоры для задач AI/ML.

Задача

NVIDIA/TransformerEngine may be useful when its README and activity match a concrete workflow.

Результат

Medium: useful for prototypes or internal workflows, with dependency and maintenance checks before production.

Доказательства

A library for accelerating Transformer models on NVIDIA GPUs, including using 8-bit and 4-bit floating point (FP8 and FP4) precision on Hopper, Ada and Blackwell GPUs, to provide better performance with lower memory utilization in both training and inference.

Источник