公开评测细节可访问 https://github.com/open-compass/GAOKAO-Eval
参与评测的开源模型:
Mixtral 8x22B:法国AI创业公司Mistral于2024年4月17日开源的对话模型
Yi-1.5-34B:零一万物公司于2024年5月12日开源的Yi-1.5系列最大的模型
GLM-4-9B:智谱AI于2024年6月4日推出的最新一代预训练模型GLM-4系列的开源版本
InternLM2-20B-WQX:上海人工智能实验室于2024年6月4日开源的书生·浦语2.0系列文曲星大语言模型
Qwen2-57B:阿里巴巴于2024年6月4日上传并随后开源的Qwen2系列MoE对话模型
Qwen2-72B:阿里巴巴于2024年5月28日上传并随后开源的72B稠密模型
| 前三甲“考生”达一本水平,大部分模型未到二本线
延续此前“语数外”全科能力测试的优秀表现,在增加综合科目的基础上,Qwen2-72B、GPT-4o、浦语文曲星包揽文、理科前三甲。
阿里通义千问大模型Qwen2-72B以546分的成绩荣获AI高考“文科状元”,浦语文曲星则以468.5分成为理科第一名,分别超过了“非开源国际插班生”GPT-4o(文科531分,理科467分)。同为国外机构发布的Mixtral 8x22B平均得分最少,弱于国内大模型的高考表现。
评测团队选取河南省录取批次线作为参考,对比了大模型得分与对应分数线。Qwen2-72B、浦语文曲星、GPT-4o的文科成绩均超越“一本线”,展现了大模型在语文、历史、地理、思想政治等科目上深厚的知识储备和理解能力。
理科成绩方面,AI“考生”整体表现弱于文科,体现了大模型在数理推理能力上普遍存在短板,但前三甲的理科成绩均超过二本分数线,具备巨大提升潜力。得益于研究团队在数学推理上的投入,浦语文曲星取得了468.5分的最高理科成绩,超过所有受测模型。
参考2024年河南本科批次录取线,表现最优的三个大模型文科成绩过一本,理科超二本。其他大模型文理科成绩均未达到二本线标准。
为更贴近真实高考情况,评测采用3(语数外)+3(理综/文综)的形式对大模型进行了全科目测试。评测过程中,所有纯文本题目由大语言模型作答,而综合科目中的带图题目,则由对应团队开源的多模态大模型回答。其中,语、数、英三科仅输入文字题干(新课标I卷仅数学包含2道带图题目),英语听力部分(30分)在统计时均默认为满分。
对于纯文本题目,大模型平均得分率可达64.32%,而面对带图题目,得分率仅有37.64%。在图片理解和运用能力方面,所有大模型均存在较大提升空间。
| 阅卷老师:大模型与真人考生依然存在差距
部分大模型已达到“一本”分数,经过再训练,是否可达到顶尖高校录取线水平?
完成阅卷后,老师们一致认为,大模型与真人考生仍存在差距,虽然对于基础知识的掌握表现出色,但在逻辑推理和知识灵活应用方面,大模型仍然差强人意。具体而言,在作答主观题时,大模型往往无法完整理解题干,不明白代词指向,结果导致答非所问;解答数学题时,解题过程机械且逻辑性差,对于几何题,常出现与空间逻辑相违背的推断;对物理、化学实验理解肤浅,无法准确识别并运用实验器材。
此外,大模型也会伪造虚构内容,编造看似合理但实际不存在的诗句,或在存在明显计算错误的情况下之后不反思,“硬着头皮蒙”一个答案,均给阅卷老师带来了困扰。
通过盘点AI“考生”的答卷,司南的模型评测团队深入分析了当前大模型普遍存在的问题。
| 反思能力弱
例如,数学科目中一题为:
已知A(0,3)和P(3,3/2)为椭圆C:x²/a²+y²/b²=1(a>b>0)上两点
(1)求C的离心率
(2)若过P的直线l交C于另一点B,且△ABP的面积为9,求l的方程
由于在解题过程中出现了计算错误,导致不正确的求解K值方程式出现
面对如此复杂难解的方程式,模型依然选择了“硬解”,直接蒙了一个答案,而该答案无法使该等式成立。对于大多数人类考生,一旦发现计算存在问题,会反思此前的步骤并重新更正计算过程,而非“硬蒙”出答案。
“一本正经”虚构内容
例如,语文考试中一道填空题为:
唐代诗人写时事,常常托之于汉代,如“__,__”,就是借汉喻唐,以古方今。
某模型作答:
“想知汉武宫香径,请看长安市醉人”
诗句存在对仗且的确“以古方今”,部分阅卷老师误以为自己不知道这首诗,而认为大模型做对了,但实际上这句诗出自大模型的“幻觉”,虚构而成。
缺乏空间想象能力
数学科目的第17题为一道立体几何题,此题平均得分率为8.5%,远低于数学平均得分率35.5%。并且通过检查模型答案,评测团队发现,模型往往会出现一些完全不符合空间逻辑的推断,例如:
对物理、化学实验理解肤浅
大模型普遍对实验设备及基本实验步骤的理解极为有限。
在回答化学题“取100mmol 己-2,5-二酮应选取何种仪器”时,除了GPT-4o以外所有模型均认为应使用量筒,完全没有考虑到需求数量对仪器选取的影响,如此少量的试剂应选用酸式滴定管。
在回答物理题“多用电表测量电压表内阻”时,所有大模型均无法准确读出图中的电阻值,表明大模型对实验设备的理解极为有限。