首页 - 科技 > 老显卡也能用！美团开源首发INT8无损满血版DeepSeek R1！

老显卡也能用！美团开源首发INT8无损满血版DeepSeek R1！

发布于：2025-03-07 作者：凹凸曼 阅读：50

日前美团技术团队宣布对DeepSeek R1进行了INT8精度量化，让DeepSeek R1可以在如A100等老型号GPU上进行部署。

据介绍，DeepSeek R1发布以后不少企业和个人都在尝试部署满血版本，但原生版本的模型权重为FP8数据格式，对GPU芯片类型有严格限制，仅能被英伟达新型GPU支持（如Ada、Hopper架构芯片），其他型号GPU（如A100）无法直接部署。

虽然可以将FP8权重反量化为BF16权重后，在A100等GPU上进行推理，但是这对显存的要求提升了一倍，推理吞吐也会下降。

为此美团搜索和推荐平台部对DeepSeek R1模型进行了INT8精度量化尝试，发现使用INT8量化后模型精度基本无损。

基于INT8量化，DeepSeek R1模型解锁了芯片限制，可以部署到A100等其他型号GPU；并且相比BF16实现了50%的吞吐提升，进一步降低了推理成本。

目前量化代码已经发布在了开源LLM推理框架SGLang上，量化模型已经发布到了Hugging Face社区：

https://huggingface.co/meituan/DeepSeek-R1-Block-INT8

https://huggingface.co/meituan/DeepSeek-R1-Channel-INT8

对具体过程感兴趣的，可以查看官方技术报告。

老显卡也能用！美团开源首发INT8无损满血版DeepSeek R1

二维码

扫一扫关注我们

版权声明：本文内容由互联网用户自发贡献，本站不拥有所有权，不承担相关法律责任。如果发现本站有涉嫌抄袭的内容，欢迎发送邮件至 3941001135@qq.com举报，并提供相关证据，一经查实，本站将立刻删除涉嫌侵权内容。

上一篇：奔驰中国裁员揭秘：销量下降是主因 赔偿最高给到N+11！

下一篇：何小鹏喊话年轻人来广东：不用拼酒也能办事！

相关文章

客服QQ：3941001135

客服邮箱：3941001135@qq.com

二维码

本站部分文字及图片均来自于网络，如有侵权请及时联系删除处理

Copyright © 2023 本站技术支持0571YP技术支持 苏ICP备2024129037号-1