HyperCache – Distributed KV-cache quantization and relative RoPE reuse
HyperCache – это распределённый KV‑кеш с квантизацией и повторным использованием относительного RoPE, позволяющий уменьшить требования к памяти при работе с тра
ПервоисточникHyperCache – это распределённый KV‑кеш с квантизацией и повторным использованием относительного RoPE, позволяющий уменьшить требования к памяти при работе с тра
Первоисточник