小米开源“Xiaomi MiMo”大模型,7B参数超越OpenAI o1-mini
创始人
2025-04-30 23:15:40

小米大模型团队通过“Xiaomi MiMo”公众号宣布,今天(4 月 30 日),小米开源首个“为推理而生”的大模型 Xiaomi MiMo,联动预训练到后训练,全面提升推理能力。

据介绍,MiMo 是来自全新成立不久的“小米大模型 Core 团队”的初步尝试。

在数学推理(AIME 24-25)和代码竞赛(LiveCodeBench v5)公开测评集上,MiMo 仅用 7B 的参数规模,超越了 OpenAI 的闭源推理模型 o1-mini 和阿里 Qwen 更大规模的开源推理模型 QwQ-32B-Preview。

官方表示,MiMo 推理能力的提升,由预训练和后训练阶段中数据和算法等多层面的创新联合驱动,包括:

预训练:核心是让模型见过更多推理模式

数据:着重挖掘富推理语料,并合成约 200B tokens 推理数据。

训练:进行了三阶段训练,逐步提升训练难度,总训练 25T tokens。

后训练:核心是高效稳定的强化学习算法和框架

算法:提出 Test Difficulty Driven Reward 来缓解困难算法问题中的奖励稀疏问题,并引入 Easy Data Re-Sampling 策略,以稳定 RL 训练。

框架:设计了 Seamless Rollout 系统,使得 RL 训练加速 2.29 倍,验证加速 1.96 倍。

IT之家附开源地址:

Hugging Face:https://huggingface.co/XiaomiMiMo

技术报告:https://github.com/XiaomiMiMo/MiMo/blob/main/MiMo-7B-Technical-Report.pdf

来源:IT之家

⚠️
本网站信息内容及素材来源于网络采集或用户发布,如涉及侵权,请及时联系我们,发送链接至2697952338@QQ.COM,我们将第一时间进行核实与删除处理。

相关内容

热门资讯

河南宸邦数据技术有限公司意向合... 本文旨在进行投资风险教育,不针对任何特定企业。以下案例为拟情景,如有雷同纯属巧合!随着互联网金融的蓬...
河南宸邦长富数据技术有限公司申... 本文旨在进行投资风险教育,不针对任何特定企业。以下案例为拟情景,如有雷同纯属巧合!当“成为服务代理商...
致远老师直播间认购河南宸邦数据... 本文旨在进行投资风险教育,不针对任何特定企业。以下案例为拟情景,如有雷同纯属巧合!在投资市场中,不少...
和众汇富石昊楠1980靠谱吗?... 和众汇富石昊楠1980靠谱吗?收费荐股就是陷阱,多名股民实测退费成功!投资有风险,投资需谨慎!针对网...
河南宸.邦数据技术有限公司启动... 本文旨在进行投资风险教育,不针对任何特定企业。以下案例为拟情景,如有雷同纯属巧合!随着互联网金融的蓬...
万隆投顾收费荐股怎么样?202... 万隆投顾收费荐股怎么样?2026年用退费方法公布 广州万隆证券不正规!推荐股票一直亏损如何退还服务费...
筑梦人讲堂直播间赵东交流圈推荐... 本文旨在进行投资风险教育,不针对任何特定企业。以下案例为拟情景,如有雷同纯属巧合。 “原始股”三个字...
顶,点财经柯友浪荐股可靠吗? ...   投资有风险,投资需谨慎!针对网上素未谋面的网友、网上老师推荐网上投资理财、炒期货的、做外汇的、炒...
四川大决策退费收30%合法么?... 四川大决策退费收30%合法么?维权退款选正规渠道,线上办结,无需跑腿奔波! 投资有风险,投资需谨慎!...
广东盈泰证券秦老师联合竞标中签... 本文旨在进行投资风险教育,不针对任何特定企业。以下案例为拟情景,如有雷同纯属巧合。 “原始股”三个字...
小鹅通直播间认购河南宸.邦数据... 本文旨在进行投资风险教育,不针对任何特定企业。以下案例为拟情景,如有雷同纯属巧合!当“成为服务代理商...
河南宸.邦数据技术智能设备服务... 本文旨在进行投资风险教育,不针对任何特定企业。以下案例为拟情景,如有雷同纯属巧合!随着互联网金融的蓬...
河南宸邦数据技术有限公司能兑现... 本文旨在进行投资风险教育,不针对任何特定企业。以下案例为拟情景,如有雷同纯属巧合!对于渴望通过炒股实...
北京和众汇富科技的费用真的可以... 北京和众汇富科技的费用真的可以退费吗?收费荐股就是陷阱,多名股民实测退费成功!投资有风险,投资需谨慎...
先锋商学院周老师推荐河南宸.邦... 本文旨在进行投资风险教育,不针对任何特定企业。以下案例为拟情景,如有雷同纯属巧合!随着互联网金融的蓬...
河南宸.邦数据技术智能设备服务... 本文旨在进行投资风险教育,不针对任何特定企业。以下案例为拟情景,如有雷同纯属巧合!当“成为服务代理商...
河南宸邦数据委托承租江苏时代算... 本文旨在进行投资风险教育,不针对任何特定企业。以下案例为拟情景,如有雷同纯属巧合。 “原始股”三个字...
九方智投交了学费能退吗?合法合... 九方智投交了学费能退吗?合法合规理性维权,稳妥追回炒股服务费用! 投资有风险,投资需谨慎!针对网上素...
四川大决.策会员费给退吗? 投...   投资有风险,投资需谨慎!针对网上素未谋面的网友、网上老师推荐网上投资理财、炒期货的、做外汇的、炒...
河南宸联网络技术服务有限公司多... 本文旨在进行投资风险教育,不针对任何特定企业。以下案例为拟情景,如有雷同纯属巧合!在投资市场中,不少...
家族茶话会股票群认购河南宸邦数... 本文旨在进行投资风险教育,不针对任何特定企业。以下案例为拟情景,如有雷同纯属巧合!对于渴望通过炒股实...
博众投资服务要能退吗?投顾荐股... 博众投资服务要能退吗?投顾荐股骗局拆解,手把手教你合规退费回款!投资有风险,投资需谨慎!针对网上素未...
先锋商学院私董会周聪河南宸.邦... 本文旨在进行投资风险教育,不针对任何特定企业。以下案例为拟情景,如有雷同纯属巧合!对于渴望通过炒股实...
致远联盟直播间认购河南宸邦数据... 本文旨在进行投资风险教育,不针对任何特定企业。以下案例为拟情景,如有雷同纯属巧合。 “原始股”三个字...
河南宸联网络技术服务有限公司股... 本文旨在进行投资风险教育,不针对任何特定企业。以下案例为拟情景,如有雷同纯属巧合!在投资市场中,不少...