Loading page...Загружаем страницу...正在加载页面...
AtlasRepo

Chunked KL loss, running Knowledge Distillation locally in less <6GB VRAM

**简短介绍** Chunked KL loss 是一个开源项目,允许在 6GB 或更少的 VRAM 设备上本地运行知识蒸馏。它通过分块 KL 损失来实现这一点,适用于需要在低端设备上进行知识蒸馏的场景。 **价值** Chunked KL loss 的价值在于,它可以在低端设备上进行知识蒸馏,从而节省资源,提高效率。

原始来源