首页 - 科技 > 摩尔线程新方法优化AI交互：显存节省最多82％！

摩尔线程新方法优化AI交互：显存节省最多82％！

发布于：2025-03-04 作者：凹凸曼 阅读：42

摩尔线程科研团队近日发布了一项新的研究成果《Round Attention：以轮次块稀疏性开辟多轮对话优化新范式》，使得端到端延迟低于现在主流的Flash Attention推理引擎，kv-cache显存占用节省最多82％。

摩尔线程新方法优化AI交互：显存节省最多82％

近年来，AI大型语言模型的进步，推动了语言模型服务在日常问题解决任务中的广泛应用。

然而，长时间的交互暴露出两大显著问题：

首先，上下文长度的快速扩张因自注意力机制的平方级复杂度而导致巨大的计算开销；

其次，尽管键值(KV)缓存技术能缓解冗余计算，但显著增加的GPU内存需求，导致推理批处理规模受限，同时GPU利用率低下。

摩尔线程新方法优化AI交互：显存节省最多82％

为此，摩尔线程提出了Round Attention，以解决这些问题。

首先，摩尔线程提出以轮次为分析单元研究Attention规律：

Round Attention专为多轮对话场景推理需求设计，以轮次为自然边界划分KV缓存。研究发现，轮次粒度的Attention分布存在两个重要规律。

其次，摩尔线程提出了Round Attention推理流水线；

基于发现的两个规律，将稀疏性从Token级提升至块级，选取最相关的块参与attention计算，减少attention计算耗时，并将不相关的块卸载到CPU内存，以节省显存占用。

这在保持推理精度的情况下，减少了推理耗时，降低了显存占用。

摩尔线程认为，轮次块稀疏性有三大优势：自然边界的语义完整性、分水岭层的注意力稳定性、端到端的存储与传输优化。

测试显示，Round Attention的端到端延迟低于现在主流的Flash Attention推理引擎， kv-cache显存占用则节省55-82％，并且在主观评测和客观评测两个数据集上，模型推理准确率基本未受影响。

摩尔线程新方法优化AI交互：显存节省最多82％

摩尔线程新方法优化AI交互：显存节省最多82％

二维码

扫一扫关注我们

版权声明：本文内容由互联网用户自发贡献，本站不拥有所有权，不承担相关法律责任。如果发现本站有涉嫌抄袭的内容，欢迎发送邮件至 3941001135@qq.com举报，并提供相关证据，一经查实，本站将立刻删除涉嫌侵权内容。

上一篇：华为3月重磅新品曝光：智慧屏、耳机 还有全国人民都买得起的产品！

下一篇：日本10亿研发费换来60%错误率AI工具！学习样本仅5000！

相关文章

客服QQ：3941001135

客服邮箱：3941001135@qq.com

二维码

本站部分文字及图片均来自于网络，如有侵权请及时联系删除处理

Copyright © 2023 本站技术支持0571YP技术支持 苏ICP备2024129037号-1