ModelTC/LightLLM

ModelTC/LightLLM — это лёгкий Python‑фреймворк для инференса и обслуживания больших языковых моделей, который сочетает высокую скорость работы с простой масштаб