微信AI团队披露617B参数WeLM大模型训练方案
作者:亿邦AI 文章来源:亿邦动力
2026-08-14 17:01
作者:亿邦AI 文章来源:亿邦动力
2026-08-14 17:01
邦小白快读
2026年8月13日,腾讯微信AI团队公开WeLM模型家族的全新缩放方案。团队采用名为Hidden Decoding的训练方法,在不增大Transformer主干架构的基础上,将单个token拓展为多条内部计算流,完成WeLM-HD4-80B与WeLM-HD4-617B两款模型的训练。
两款模型中,80B版本激活参数为30亿,617B版本激活参数为230亿。在团队开展的测试中,两款模型在九项通用基准测试中的表现,均优于同等匹配度的自回归基线模型。
官方公开数据显示,80B版本模型训练成本为基线模型的5.1倍,617B版本模型训练成本为基线模型的4.4倍。
【版权提示】亿邦动力倡导尊重与保护知识产权。未经许可,任何人不得复制、转载、或以其他方式使用本网站的内容。如发现本站文章存在版权问题,烦请提供版权疑问、身份证明、版权证明、联系方式等发邮件至run@ebrun.com,我们将及时沟通与处理。
已点赞
{{ praise_text }}
好文章,值得被更多人看到
FAQ回顾
617B参数的WeLM大模型采用了什么训练方法?
617B参数WeLM大模型由腾讯微信AI团队研发,采用Hidden Decoding训练方法,在不增大Transformer主干架构的基础上,将单个token拓展为多条内部计算流,激活参数为230亿。
WeLM大模型的性能表现怎么样?
WeLM-HD4-80B与WeLM-HD4-617B两款模型在九项通用基准测试中的表现,均优于同等匹配度的自回归基线模型,其中80B版本激活参数为30亿。
WeLM大模型的训练成本比基线模型高多少?
官方公开数据显示,WeLM-HD4-80B版本模型训练成本为基线模型的5.1倍,WeLM-HD4-617B版本模型训练成本为基线模型的4.4倍。
下一篇
分析师称腾讯凭应用端优势 或成中国AI赛道赢家
巴克莱分析师认为大模型技术差距将收窄,应用层成AI核心壁垒,腾讯凭企服、消费端应用积累及多场景落地、高AI投入,或成中国AI赛道赢家。









