首页 - 科技 > 腾讯发布开源MoE大语言模型Hunyuan-large：总参数398B为业内最大！

腾讯发布开源MoE大语言模型Hunyuan-large：总参数398B为业内最大！

发布于：2024-11-05 作者：凹凸曼 阅读：46

腾讯今日宣布推出业界参数规模最大、效果最好的开源MoE大语言模型Hunyuan-Large。

Huanyuan-large模型的总参数量为389B、激活参数为52B、训练token数量为7T、最大上下文长度为256K、词表大小为12.8w。

在技术创新方面，Hunyuan-large通过高质量的合成数据来增强模型训练，弥补了自然数据的不足。

其中，该模型预训练支持处理高达256K的文本序列，大幅提升了长文本上下文的处理能力，能够更高效地完成长文本任务。

腾讯发布开源MoE大语言模型Hunyuan-large：总参数398B为业内最大

据了解，Hunyuan-large在CMMLU、MMLU、CEva1、MATH等多学科综合评测集上表现优异，在中英文自然语言处理、代码生成、数学运算等9大能力维度中全面领先，超越了Llama3.1和Mixtral等一流开源模型。

此外，腾讯还宣布将推出自研的长文评测集“企鹅卷轴（PenguinScrolls）”，以填补行业在真实长文评测集上的空白。

企鹅卷轴基于公开的金融、法律、学术论文等长文本构建，文本长度从1K到128K不等，覆盖深度阅读理解和长文推理任务。

腾讯发布开源MoE大语言模型Hunyuan-large：总参数398B为业内最大


二维码

扫一扫关注我们

版权声明：本文内容由互联网用户自发贡献，本站不拥有所有权，不承担相关法律责任。如果发现本站有涉嫌抄袭的内容，欢迎发送邮件至 3941001135@qq.com举报，并提供相关证据，一经查实，本站将立刻删除涉嫌侵权内容。

上一篇：华为Mate 70又上热搜 网友们迫不及待想买！

下一篇：达墨最后一次声明：没有跑路 售后正常！

相关文章

客服QQ：3941001135

客服邮箱：3941001135@qq.com

二维码

本站部分文字及图片均来自于网络，如有侵权请及时联系删除处理

Copyright © 2023 本站技术支持0571YP技术支持 苏ICP备2024129037号-1