蓝鲸新闻3月10日讯 3月10日,字节豆包大模型团队官宣开源一项针对MoE架构的关键优化技术COMET,可将大模型训练效率提升1.7倍,成本节省40%。该技术已实际应用于字节的万卡集群训练,累计帮助节省了数百万GPU小时训练算力。据介绍,COMET支持业界绝大部分主流大模型,可以像插件一样接入已有的MoE训练框架,也可以与DeepSeek开源的DualPipe方案联用以更大压缩训练成本。(蓝鲸新闻 朱俊熹)
上一篇:龙虎榜 |联合精密下跌2.44%,知名游资开源西安西大街卖出2225.65万元
下一篇:推荐高效AI选股工具、售卖AI炒股课程?抖音最新通报,当心被骗!