GPT-4 评估百度文心大模型 3.5 生成内容质量更高

【资料图】

天津大学日前发布的首份《大模型评测报告》指出，GPT-4和百度文心一言相较于其他模型综合性能显著领先，两者得分相差不大，处于同一水平。

该报告基于对国内外主流的14个大语言模型进行的中文综合能力评测。具体包括GPT-4、ChatGPT gpt-3.5-turbo、Claude-instant、Sage gpt-3.5-turbo等国外大模型，以及百度文心一言、阿里通义千问、讯飞星火认知大模型、ChatGLM-6B、360智脑、MOSS-16B、MiniMax、baichuan-7B等国产大模型。

评测使用一套涵盖知识问答、语言表达、逻辑推理、常识问答、文本问答、机器翻译等不同领域知识、包含多种题型的中文综合性试题，通过多维度得分结果，清楚了解不同模型的擅长领域和综合能力优劣。

尤其值得关注的是，在此次评测中，天津大学引入GPT-4对参评模型的主观题回答进行了打分，结果显示，在GPT-4看来文心一言生成的中文内容质量更高。相比人工评价，在基于GPT-4的自动评测中，文心一言的总得分一举超过GPT-4，跃居榜首。

报告结果显示，国产大模型以文心一言为代表，在知识问答、语言表达、逻辑推理、常识问答等方面表现出色。相比其他国产大模型，文心一言更具优势，展示了更强大的综合能力。尤其在中文语言表达上，文心一言相比GPT-4和其他国内大语言模型明显更优质。此外，本次评测中，文心一言在计算机、医学、法律和教育等领域的得分率高，为大语言模型在相关行业的落地提供了技术基础。

天津机器学习重点实验室负责人、天津大学胡清华教授表示：

“基础智能模型有望重塑人工智能的发展模式，国内外大模型如雨后春笋般大量涌现。全面准确评价此类模型是推动和规范其健康发展的基础，为使用者在选择和应用大模型时提供参考。可以看到，百度文心一言在评测中展现了国产大模型的强大实力，中国的大语言模型在短期内取得巨大发展，正在逐步赶超国际类似的模型，甚至在某些指标上实现了局部超越。未来，期待国产大模型能够取得更大突破，可以赋能社会经济发展，助力我国科技高质量自立自强。”