字节开源MoE关键优化技术大模型训练成本可再省40%_科学探索

创始人

2025-03-10 19:10:45

3月10日，记者从字节跳动获悉，字节豆包大模型团队宣布开源针对MoE架构的关键优化技术COMET，可将大模型训练效率提升1.7倍，成本节省40%。

上证报中国证券网讯（记者罗茂林）3月10日，记者从字节跳动获悉，字节豆包大模型团队宣布开源针对MoE架构的关键优化技术COMET，可将大模型训练效率提升1.7倍，成本节省40%。

据悉，该技术已实际应用于字节的万卡集群训练，累计帮助节省了数百万GPU小时训练算力。针对MoE通信瓶颈，COMET通过在计算-通信重叠层面的多项创新，大幅降低了MoE流水线上的通信延迟。

同时，COMET支持业界绝大部分主流大模型，并可以像插件一样接入已有的MoE训练框架，无需进行侵入式改动，也可以与DeepSeek开源的DualPipe方案联用以更大压缩训练成本。该工作以高分入选了全球机器学习系统顶级会议MLSys 2025。

字节成本关键技术 DeepSeek 通信模型训练 DualPipe MLSys 字节跳动 MoE 节豆包