清华团队开源大模型推理引擎赤兔，实现DeepSeek推理成本降低一半
创始人
2025-03-14 21:39:52
0次

IT之家 3 月 14 日消息，清华大学高性能计算研究所翟季冬教授团队、清华系科创企业清程极智今日联合宣布，大模型推理引擎“赤兔 Chitu”现已开源。

据介绍，该引擎首次实现在非英伟达 Hopper 架构 GPU 及各类国产芯片上原生运行 FP8 精度模型，实现 DeepSeek 推理成本降低一半、性能翻番。其定位为“生产级大模型推理引擎”，提供如下特性：

  • 多元算力适配：不仅支持 NVIDIA 最新旗舰到旧款的多系列产品，也为国产芯片提供优化支持。

  • 全场景可伸缩：从纯 CPU 部署、单 GPU 部署到大规模集群部署，赤兔引擎提供可扩展的解决方案。

  • 长期稳定运行：可应用于实际生产环境，稳定性足以承载并发业务流量。

官方表示，当前开源的赤兔引擎在部署 DeepSeek-R1-671B 满血版时，在 A800 集群的测试中，相比部分国外开源框架，实现了 GPU 使用量减少 50% 的同时，推理速度提升 3.15 倍。

IT之家附开源地址：https://github.com/thu-pacman/chitu

成本 引擎 推理 Chitu DeepSeek 团队 生产 模型 部署 运行 赤兔 翟季冬 清华

上一篇：400多万买到“高铁房”后，杭州男子脑袋嗡嗡的：2分钟一班，受不了！

下一篇：开源证券：给予南山智尚买入评级

相关内容

热门资讯

珍爱网回应闭店：全面核查整改，... 图片来源：视觉中国 3月24日，珍爱网发布《消费者权益保障工作声明》称，近日，个别合作商运营问题引发...
关联MCN公司谈司马南偷税：他... 界面新闻记者 | 赵孟 蔡星卓 界面新闻编辑 | 刘海川 2025年3月21日，国家税务总局北京...
华创证券：夸克“AI 超级框”... 3月24日消息，华创证券发布最新研究报告指出，夸克All in One的“AI超级框”重塑AI应用交...
小米AI眼镜突传消息！多股涨停 值得注意的是，此前多次有爆料称小米将打造AI眼镜，预计在3月至4月发布。 3月24日，AI眼镜板块领...
龙虎榜 |方正电机上涨9.99... 3月18日，方正电机上涨9.99%登上龙虎榜，日涨幅偏离值达7%，知名游资买入。 龙虎榜显示，买入前...
DeepSeek引爆“AI大脑... 25年以来，科创板AI企业掀起技术风暴！量子计算“九章三号”破解亿亿级难题，国产算力站上全球之巅；G...
小米公布AI服务调动方法专利 大象新闻记者 王瑞麟 天眼查财产线索信息显示，近日，北京小米移动软件有限公司申请的“人工智能AI服务...
发力AI智能体！第四范式升级为... 人工智能企业第四范式升级成为范式集团，开始布局AI Agent（智能体）。 3月18日，第四范式（0...
原创 李... 近日，李嘉诚拟向美国贝莱德财团出售43个港口。据媒体报道，双方已经谈妥了所有细节，贝莱德集团高层计划...
3月21日基金净值：前海开源沪... 证券之星消息，3月21日，前海开源沪港深优势精选混合A最新单位净值为1.53元，累计净值为2.45元...