来源:OSCHINA 时间:2023-06-15 14:20:42
(资料图片仅供参考)
6月15日,搜狗创始人王小川创立的百川智能公司宣布推出 70 亿参数量的中英文预训练大模型——baichuan-7B。
baichuan-7B 是由百川智能开发的一个开源的大规模预训练模型。基于 Transformer 结构,在大约 1.2 万亿 tokens 上训练的 70 亿参数模型,支持中英双语,上下文窗口长度为 4096。
目前 baichuan-7B 大模型已在 Hugging Face、GitHub 以及 Model Scope 平台发布。baichuan-7B 代码采用 Apache-2.0 协议,模型权重采用了免费商用协议,只需进行简单登记即可免费商用。
Hugging Face:https://huggingface.co/baichuan-inc/baichuan-7B Github:https://github.com/baichuan-inc/baichuan-7B Model Scope:https://modelscope.cn/models/baichuan-inc/baichuan-7B/summary据介绍,baichuan-7B 在 C-Eval、AGIEval 和 Gaokao 中文权威评测榜单上,超过了 ChatGLM-6B 等其他大模型,并且在 MMLU 英文权威评测榜单上,领先 LLaMA-7B。