KoboldCPP: Run GGUF Models Easily with a KoboldAI UI. One File. Zero Install
KoboldCPP — это однострочный, безустановочный клиент с UI KoboldAI, позволяющий быстро запускать модели в формате GGUF и интегрировать их в прототипы AI‑фич, RA
Первоисточник