您的位置:首页 > IT > 正文

百川智能发布开源中英文大模型 baichuan-7B

来源:OSCHINA     时间:2023-06-15 14:20:42


(资料图片仅供参考)

6月15日,搜狗创始人王小川创立的百川智能公司宣布推出 70 亿参数量的中英文预训练大模型——baichuan-7B。

baichuan-7B 是由百川智能开发的一个开源的大规模预训练模型。基于 Transformer 结构,在大约 1.2 万亿 tokens 上训练的 70 亿参数模型,支持中英双语,上下文窗口长度为 4096。

目前 baichuan-7B 大模型已在 Hugging Face、GitHub 以及 Model Scope 平台发布。baichuan-7B 代码采用 Apache-2.0 协议,模型权重采用了免费商用协议,只需进行简单登记即可免费商用。

Hugging Face:https://huggingface.co/baichuan-inc/baichuan-7B Github:https://github.com/baichuan-inc/baichuan-7B Model Scope:https://modelscope.cn/models/baichuan-inc/baichuan-7B/summary

据介绍,baichuan-7B 在 C-Eval、AGIEval 和 Gaokao 中文权威评测榜单上,超过了 ChatGLM-6B 等其他大模型,并且在 MMLU 英文权威评测榜单上,领先 LLaMA-7B。

相关文章