字节开源MoE关键优化技术 大模型训练成本可再省40%
创始人
2025-03-10 19:10:45
0次
3月10日，记者从字节跳动获悉，字节豆包大模型团队宣布开源针对MoE架构的关键优化技术COMET，可将大模型训练效率提升1.7倍，成本节省40%。
上证报中国证券网讯（记者 罗茂林）3月10日，记者从字节跳动获悉，字节豆包大模型团队宣布开源针对MoE架构的关键优化技术COMET，可将大模型训练效率提升1.7倍，成本节省40%。
据悉，该技术已实际应用于字节的万卡集群训练，累计帮助节省了数百万GPU小时训练算力。针对MoE通信瓶颈，COMET通过在计算-通信重叠层面的多项创新，大幅降低了MoE流水线上的通信延迟。
同时，COMET支持业界绝大部分主流大模型，并可以像插件一样接入已有的MoE训练框架，无需进行侵入式改动，也可以与DeepSeek开源的DualPipe方案联用以更大压缩训练成本。该工作以高分入选了全球机器学习系统顶级会议MLSys 2025。
相关内容
热门资讯
聚焦“AI焦虑”“AI幻觉”，...
人工智能（AI）技术近年来发展迅猛，已迅速蔓延至各个领域，尤其是今年初，国产DeepSeek大模型的...
如何在CentOS 6.5系统...
CentOS 6.5系统安装Discuz! X全流程指南 作为网站站长，部署一个稳定高效的论坛系统是...
如何在CentOS上设置共享桌...
CentOS共享桌面配置指南 在服务器管理与运维场景中，CentOS因其稳定性和开源性被广泛使用，对...
3月7日基金净值：前海开源深圳...
证券之星消息，3月7日，前海开源深圳特区精选股票A最新单位净值为0.9582元，累计净值为0.958...
AI海报︱科技“她力量” 解锁...
2025年《政府工作报告》明确提出： 深入实施科教兴国战略，提升国家创新体系整体效能。 在这场关乎国...
最新公布！今年高校毕业生122...
今天（ 9日）下午，十四届全国人大三次会议举行记者会，民政部、人力资源和社会保障部、住房和城乡建设部...
48强还不够，世界杯的扩军计划...
2024/25赛季欧冠扩军带来的效应已经明确展示出来，2026年世界杯扩军带来的规模效应正在显现，2...
北京：中小学秋季开学起开设AI...
日前，北京市教委印发《北京市推进中小学人工智能教育工作方案（2025—2027年）》，提出要加快建成...
每周股票复盘：红旗连锁（002...
截至2025年3月7日收盘，红旗连锁（002697）报收于5.86元，较上周的5.15元上涨13.7...
两会AI答：如何让民营企业家更...
全国两会期间，民营经济的营商环境改善成为社会关注的焦点。民营经济作为国民经济的重要组成部分，在推动经...