TokenGate: Adapting LLMs for pre-fill with learned skimming for ~11x speedup

TokenGate позволяет адаптировать большие языковые модели для предзаполнения, используя обученную технику «сканирования» и достигая ускорения в ~11 раз, что дела