论文标题:MedBench: A Comprehensive, Standardized, and Reliable Benchmarking System for Evaluating Chinese Medical Large Language Models
论文链接:https://www.sciopen.com/article/10.26599/BDMA.2024.9020044
立即参与评测:https://medbench.opencompass.org.cn/home
| 全面升级:丰富评测方式,扩充数据集
依托专业医疗机构的专家经验和知识储备,MedBench设置了医学语言理解、医学语言生成、医学知识问答、复杂医学推理和医疗安全和伦理等5大维度评测维度,为推动医疗大模型的研发与应用实践提供指标参考。
近期,上海AI实验室联合团队对MedBench进行了全面升级,新增加模型API接入评测,并优化了开放性问答的评估指标,由医学专家人工标准评测“给分点”,进一步确保评测结果的专业性和公正性。
同时,MedBench的评测数据集、评测方法以及系统功能方面也迎来扩充及升级,提供更为丰富、真实的医疗实践场景。
| 动态评估:提升评测准确性
MedBench集纳了约30万道中文医疗专业测评题目,囊括医学考试、医学问答、患者服务、医学问诊、病历分析、病历生成和辅助诊断等场景数据,覆盖多个临床科室。
为了对医疗大模型的能力进行全面评估,MedBench包含5个评估维度:医学语言理解、医学语言生成、医学知识问答、复杂医学推理以及医疗安全和伦理。评测过程采用全自动化、云基础架构,有效解决标准化和答案泄露问题。通过动态评估机制,将选项循环打乱和随机提示匹配,显著提高评估的科学性和准确性。
| 开放共享:推动专业互认体系建设
自发布以来,MedBench即面向全球开放,与各界共同推进医疗大语言模型全面、专业、互认的评测体系建设。自发布以来,MedBench已为387个医疗大模型提供了能力指标和提升方向参考。
目前,上海交通大学医学院附属瑞金医院、上海交通大学医学院附属新华医院、四川大学华西医院、广州实验室、上海交通大学、复旦大学、华东理工大学、同济大学、香港中文大学(深圳)、上海市卫生健康统计中心、华东师范大学等机构陆续加入平台共建序列,汇聚行业经验,助力医疗智慧化转型。
基于医疗大模型评测领域的积累和实践,上海AI实验室与上海市卫生健康统计中心联合支持《第二届全国数字健康创新应用大赛》相关成果评估工作,加速人工智能与医疗的交叉研究与协同创新。