华为首次开源大模型

(相关资料图)

华为6月30日正式宣布开源盘古70亿参数的稠密模型、盘古Pro MoE 720亿参数的混合专家模型和基于昇腾的模型推理技术。这是华为首次开源大模型。

目前，盘古Pro MoE 72B模型权重、基础推理代码，已正式上线开源平台。基于昇腾的超大规模MoE模型推理代码，也已正式上线开源平台。盘古7B相关模型权重与推理代码将于近期上线开源平台。华为邀全球开发者、企业伙伴及研究人员下载使用。

华为表示，此举是华为践行昇腾生态战略的又一关键举措，推动大模型技术的研究与创新发展，加速推进人工智能在千行百业的应用与价值创造。

达睿咨询创始人马继华介绍，盘古70亿参数的稠密模型是全参数稠密结构，适合通用场景微调，能够灵活部署在边缘设备上。盘古Pro MoE 72B模型，采用混合专家架构，在保持推理效率的同时实现接近千亿级稠密模型的性能，比较适合高复杂度任务。华为差异化模型参数规模梯度覆盖制造业、金融等不同场景需求，开源目的是推动大模型的行业应用落地。

马继华认为，目前来看，人工智能领域的技术开放与生态共建非常重要，通过开源能够迅速形成产业优势，从而达成领跑，让人工智能飞轮效应得以发挥。

标签：