BJTU-ANT/CacheRoute

CacheRoute — это схема планирования запросов к LLM, позволяющая гибко переиспользовать KV‑кэш и тем самым повышать производительность задач и эффективность сист