首页 - 科技 > 清华团队开源大模型推理引擎“赤兔Chitu”：硬件成本削减50%!

清华团队开源大模型推理引擎“赤兔Chitu”：硬件成本削减50%!

发布于：2025-03-14 作者：凹凸曼 阅读：42

据报道，清华大学高性能计算研究所翟季冬教授团队与清华系科创企业清程极智联合宣布，开源大模型推理引擎“赤兔Chitu”。这一突破性技术为国产AI芯片的广泛应用和生态建设带来了新的机遇。

“赤兔Chitu”首次实现在非英伟达Hopper架构GPU及各类国产芯片上原生运行FP8精度模型，解决了FP8精度模型对英伟达Hopper架构（如H100/H200）的硬件依赖。

在A800集群的测试中，赤兔引擎在GPU使用量减少50%的情况下，推理速度提升了3.15倍，显著降低了企业的硬件成本，同时提高了性能输出。

赤兔引擎的智能优化技术能够快速适配不同芯片架构，使国产厂商无需重复开发软件，专注于硬件升级。目前，清程极智已与沐曦、燧原等厂商合作，推出“开箱即用”的推理一体机，广泛应用于金融、医疗等行业。

清程极智CEO汤雄超表示，当前国内在推理引擎这一核心环节仍缺乏生产级开源产品。开源“赤兔”引擎是推动国内AI生态建设的重要一步，将为行业提供更高效、更灵活的技术支持。

清华团队开源大模型推理引擎“赤兔Chitu”：硬件成本削减50%


二维码

扫一扫关注我们

版权声明：本文内容由互联网用户自发贡献，本站不拥有所有权，不承担相关法律责任。如果发现本站有涉嫌抄袭的内容，欢迎发送邮件至 3941001135@qq.com举报，并提供相关证据，一经查实，本站将立刻删除涉嫌侵权内容。

上一篇：汽车、空调表现优秀！卢伟冰：小米任何产品不能有质量问题 永远质量第一!

下一篇：周杰伦晒与“中国F1第一人”同框合照 并分享两人作为车手的共同点!

相关文章

客服QQ：3941001135

客服邮箱：3941001135@qq.com

二维码

本站部分文字及图片均来自于网络，如有侵权请及时联系删除处理

Copyright © 2023 本站技术支持0571YP技术支持 苏ICP备2024129037号-1