清华团队开源大模型推理引擎赤兔，实现DeepSeek推理成本降低一半
创始人
2025-03-14 21:39:52

IT之家 3 月 14 日消息，清华大学高性能计算研究所翟季冬教授团队、清华系科创企业清程极智今日联合宣布，大模型推理引擎“赤兔 Chitu”现已开源。

据介绍，该引擎首次实现在非英伟达 Hopper 架构 GPU 及各类国产芯片上原生运行 FP8 精度模型，实现 DeepSeek 推理成本降低一半、性能翻番。其定位为“生产级大模型推理引擎”，提供如下特性：

  • 多元算力适配：不仅支持 NVIDIA 最新旗舰到旧款的多系列产品，也为国产芯片提供优化支持。

  • 全场景可伸缩：从纯 CPU 部署、单 GPU 部署到大规模集群部署，赤兔引擎提供可扩展的解决方案。

  • 长期稳定运行：可应用于实际生产环境，稳定性足以承载并发业务流量。

官方表示，当前开源的赤兔引擎在部署 DeepSeek-R1-671B 满血版时，在 A800 集群的测试中，相比部分国外开源框架，实现了 GPU 使用量减少 50% 的同时，推理速度提升 3.15 倍。

IT之家附开源地址：https://github.com/thu-pacman/chitu

成本 引擎 推理 Chitu DeepSeek 团队 生产 模型 部署 运行 赤兔 翟季冬 清华

上一篇：400多万买到“高铁房”后，杭州男子脑袋嗡嗡的：2分钟一班，受不了！

下一篇：开源证券：给予南山智尚买入评级

相关内容

热门资讯

AI芯片龙头业绩暴增，同比扭亏... 今日（2月27日），A股三大指数涨跌不一。截至收盘，沪指涨0.39%，创业板指跌1.04%。全市场成...
桑坦德银行投资AI预期带来10... 桑坦德银行预期其人工智能投资将通过削减成本和增长收入带来10亿欧元的商业价值。 在伦敦举行的活动中，...
谷歌与Meta达成数十亿美元A... 据《The Information》今日报道，Meta Platforms Inc.已同意一项价值数...
中孚信息：结合AI大模型打造成... 证券之星消息，中孚信息(300659)02月26日在投资者关系平台上答复投资者关心的问题。 投资者提...
Anthropic推出“Cla... 全球知名人工智能公司Anthropic近日宣布启动一项名为“Claude开源支持计划”的专项行动，旨...