Show HN: Llama.cpp fork with 2-4x multiGPU speed for MoE models bigger than VRAM
Show HN: Llama.cpp fork with 2-4x multiGPU speed for MoE models bigger than VRAM: open-source проект в категориях Misc. Практическое применение: нужна ручная оц
Первоисточник