微软研究人员发布了一个新的基准测试AGIEval，用于评估基础模型在人类认知任务中的表现，包括高考、公务员考试、法学院入学考试、数学竞赛和律师资格考试等。
实验结果显示，GPT-4在一些任务中的表现超过了人类平均水平，但在需要复杂推理或特定领域知识的任务中不太熟练。
论文链接:https://arxiv.org/pdf/2304.06364.pdf
数据链接:https://github.com/microsoft/AGIEval
AGIEval数据集主要遵循两个设计原则:强调人脑级别的认知任务设计，以与人类认知和解决问题密切相关的任务为中心。与现实世界场景的相关性，通过选择来自高标准的入学考试和资格考试的任务，可以确保评估结果能够反映个人在不同领域和背景下经常遇到的挑战的复杂性和实用性。
随着大型基础模型的能力越来越强，如何评估模型在人类认知任务中的表现变得越来越重要。 AGIEval基准测试可以帮助人们更好地了解模型的泛化能力和局限性。
评估模型在人类认知任务中的表现对于确保模型能够有效地处理复杂的、以人为本的任务至关重要。评估推理能力可以确保模型在不同环境下的可靠性和可信度。
（举报）