Yandex开源LLM训练工具 节省高达20%的GPU资源

据悉，跨国科技公司Yandex最近推出YaFSDP，这是一种用于训练大型语言模型（LLM）的开源方法。

YaFSDP是目前最有效的公开可用工具，用于增强GPU通信并减少LLM训练中的内存使用量，与FSDP相比，其训练速度提升最高可达26%，具体取决于架构和参数数量。

通过使用YaFSDP减少LLM的训练时间可以节省高达20%的GPU资源。

　　免责声明：本文由用户上传，与本网站立场无关。财经信息仅供读者参考，并不构成投资建议。投资者据此操作，风险自担。 如有侵权请联系删除！