百川智能发布Baichuan-13B AI模型，号称“130亿参数开源可商用”

(资料图片)

IT之家 7 月 11 日消息，王小川旗下百川智能今日发布 Baichuan-13B 大模型，号称“130 亿参数开源可商用”。

▲ 图源 Baichuang-13B GitHub 页面

据官方介绍，Baichuan-13B 是由百川智能继 Baichuan-7B 之后开发的包含 130 亿参数的开源可商用的大规模语言模型，在中英文 Benchmark 上均取得同尺寸模型中最好的效果。本次发布包含有预训练 （Baichuan-13B-Base） 和对齐 （Baichuan-13B-Chat) 两个版本。

▲ 图源 Baichuang-13B GitHub 页面

官方宣称，Baichuan-13B 有如下几个特点：

更大尺寸、更多数据：Baichuan-13B 在 Baichuan-7B 的基础上进一步扩大参数量到 130 亿，并且在高质量的语料上训练了 1.4 万亿 tokens，超过 LLaMA-13B40%，是当前开源 13B 尺寸下训练数据量最多的模型。支持中英双语，使用 ALiBi 位置编码，上下文窗口长度为 4096。 同时开源预训练和对齐模型：预训练模型是适用开发者的『 基座 』，而广大普通用户对有对话功能的对齐模型具有更强的需求。因此项目中同时具有对齐模型（Baichuan-13B-Chat），具有很强的对话能力，开箱即用，几行代码即可简单地部署。 更高效的推理：为了支持更广大用户的使用，项目中同时开源了 int8 和 int4 的量化版本，相对非量化版本在几乎没有效果损失的情况下大大降低了部署的机器资源门槛，可以部署在如英伟达 RTX3090 这样的消费级显卡上。 开源免费可商用：Baichuan-13B 不仅对学术研究完全开放，开发者也仅需邮件申请并获得官方商用许可后，即可以免费商用。

目前该模型已经在 HuggingFace、GitHub、Model Scope 公布，感兴趣的 IT之家小伙伴们可以前往了解。

标签：