医疗图像大模型“华山论剑”：上海人工智能实验室发起“一刊一赛” | 活动预告

大模型是下一代人工智能技术的突破口，上海人工智能实验室在推进多模态大模型研究的同时，在医学图像等垂直领域的探索衔枚疾进。

模型是否越大越好？如何满足医学图像多领域、多场景的复杂需求？实践出真知！即日起，实验室面向产学研界广发“英雄帖”，以“一刊一赛”双擎驱动，汇聚前沿学术思想和突破性应用成果，集结学术界与产业界创新力量，为医学图像人工智能模型的探索发掘有效路径。

通用AI技术的创新，已经成为发展下一代人工智能技术的核心和焦点，各行业专家和业界人士在这一点上已达成广泛共识。依托大规模AI模型，开发人员可以仅依靠下游场景的少量数据，针对不同任务低成本、高效率地训练出高性能的应用模型，从而轻松应对各行业场景中小数据、零数据等样本缺乏的细分场景难题。

智慧医疗作为人工智能技术的重要应用，能够为医生提供更加快速、准确的医学图像分析以及诊断治疗方案，也使得医疗机构的工作流程更高效。当前，“大数据+强监督”依然是医学图像人工智能模型的主流研究范式。然而这样的方法存在着数据标注代价大、模型开发训练成本高、模型功能泛化性差等等难题。针对智慧医疗领域的专用基础模型的开发面临着很多类似的挑战：公开可用的医学图像数据相对匮乏，高质量的精细人工标注非常稀缺。因此，面向医学图像分析的预训练基础模型的正确应用范式亟待行业共同探索研究。

【实践出真知】

【“一刊一赛”共探医疗基础模型图景】

作为人工智能领域的新型研发机构，上海人工智能实验室致力于开展战略性、原创性、前瞻性的科学研究与技术攻关，突破人工智能的重要基础理论和关键核心技术。实验室在基础模型方面已取得丰硕成果，2022年推出的人工智能模型“书生2.0”，通过持续学习实现通用视觉领域的融会贯通，实现灵活高效的模型部署。

医学图像分析基础模型的可行性探索，需要产学研共同协作。对此，上海人工智能实验室面向全球智慧医疗领域的研究人员和机构发出“英雄帖”。实验室将在基础模型方面相关积累的基础上结合行业趋势，发起《〈Medical Image Analysis〉基础模型特刊》与医学图像分析基础模型应用挑战赛，通过 “一刊一赛”，推动医疗基础模型的研究和应用。

“一刊”，是指医学图像领域顶级期刊《〈Medical Image Analysis〉基础模型特刊》：

该特刊将与挑战赛紧密结合，挑战赛中排名前列的参赛团队或个人将有机会被邀请投稿分享其创新算法，进而促进基础模型构建和其他应用算法上在医疗领域中的发展。

《Medical Image Analysis》杂志主页

“一赛”，是指“医学图像分析基础模型应用挑战赛”：

赛事旨在邀请参赛者在不同实际任务中，仅使用少量数据样本验证大规模预训练基础模型在医学图像分析领域的应用，并评估算法的实际性能表现，由此探索基础模型在解决各类临床应用问题中的能力。

【《Medical Image Analysis》特刊】

由Dimitris Metaxas教授担任主编《Medical Image Analysis》特刊（影响因子13.8），已得到该杂志创刊者及MICCAI创始人INRIA Nicholas Ayache教授和耶鲁大学James Duncan教授的大力支持。Metaxas教授现为美国罗格斯大学计算机系特聘教授、计算生物医学成像和建模研究中心（CBIM）主任，是医学图像分析领域的顶尖专家。其他客座编辑分别来自于牛津大学、英属哥伦比亚大学、上海交通大学、电子科技大学及上海人工智能实验室。

特刊主旨

特刊将汇聚新颖的方法和计算解决方案，促进创新基础模型的研发与应用，以稳健、高效的方式解决各种极具挑战性的开放临床问题，从而为医学图像分析领域中全新的学习范式提供宝贵资源。

参与方式

本特刊采用邀请与推荐投稿两种方式。推荐或自荐请发送电子邮件至 dnm@cs.rutgers.edu（Metaxas教授），并抄送zhangshaoting@pjlab.org.cn（张少霆教授）。投稿如被接收，所使用的医疗基础模型需开源，以便于未来的相关研究。目前已确认的贡献者们来自清华大学、北京大学、上海交通大学、复旦大学、香港中文大学、广州实验室、之江实验室、瑞金医院、华西医院、郑州大学第一附属医院等机构。

接受投稿时间

2023年7月15日~2023年12月15日。

针对医学图像分析基础模型的研究，将进一步促进智慧医疗技术的发展，使其更好地解决临床应用中复杂多样的问题。与此同时，对探索多模态数据、长尾场景下人工智能基础模型的研究也有着重大意义。上海人工智能实验室希望通过不断促进产学研领域前沿思想碰撞，与各界共同深入实践，探索人工智能基础模型的应用潜力和价值

【“医学图像分析基础模型挑战赛”】

“医学图像分析中基础模型的应用挑战赛”将汇集医学图像分析和机器学习领域的专家，共同开发和评估将基础模型应用到医疗中分类任务的方法。该竞赛将为参赛者提供极具挑战的任务，促进医学实际应用模型的发展。

比赛主旨

本次挑战赛旨在促进技术创新，探索医学图像分析领域中全新的学习范式，即使用少量数据样本将大规模预训练通用基础模型迁移应用于医学图像分类任务。

举办时间及方式

2023年4月至7月，挑战赛将在Grand Challenge（grand-challenge.org）上举办。

主办机构

本次挑战赛由上海人工智能实验室与美国罗格斯大学、英属哥伦比亚大学、香港中文大学、上海交通大学、中国科学技术大学、上海交通大学附属瑞金医院、四川大学附属华西医院和郑州大学第一附属医院联合主办。

参赛规则

在训练阶段，参赛者需使用少量私有数据进行初始训练（使用数据中的少数样本）和验证（使用数据集的剩余部分）。挑战赛将设立胸部疾病筛查、病理肿瘤组织分类、结肠镜病灶分类等应用任务，参赛者需要在这些任务中取得尽可能高的性能分数。

结果评估

最终评估将在保留的私有数据集上进行，即随机选择少量样本用于训练，其余用于测试。最终指标将在相同的提示/测试条件下进行5次单独运行，并对结果取平均值作为最终的评价指标。该挑战旨在展示基础模型对于医疗下游任务的重要作用，即减少对高质量标注的依赖并提高尾部类别的分类精度。

比赛奖励

大赛前三名将获得主办方提供的奖金，同时有机会被邀请投稿至《Medical Image Analysis》特刊（取决于其方法的创新性），前十名将参与大赛综述文章的撰写及投稿。此外，获胜队伍中的学生代表将有机会获得攻读主办方所在机构博士学位的资格。

主办方现对本次挑战赛参赛意向进行收集，请扫描下方二维码填写：

更多赛事信息，请持续关注“上海人工智能实验室”微信公众号消息。

基础模型参考文献：

[1] Qin, Ziyuan, et al. "Medical Image Understanding with Pretrained Vision Language Models: A Comprehensive Study." ICLR (2023).

[2] Willemink, Martin, et al. "Toward Foundational Deep Learning Models for Medical Imaging in the New Era of Transformer Networks.” Radiology: Artificial Intelligence, 2022

[3] Rasmy, Laila, et al. "Med-BERT: pretrained contextualized embeddings on large-scale structured electronic health records for disease prediction." NPJ digital medicine 4.1 (2021): 86.

[4] Bommasani, Rishi, et al. "On the opportunities and risks of foundation models." arXiv preprint arXiv:2108.07258 (2021).

[5] Wang, Zifeng, et al. "Medclip: Contrastive learning from unpaired medical images and text." arXiv preprint arXiv:2210.10163 (2022).

[6] Liu, Jie, et al. "CLIP-Driven Universal Model for Organ Segmentation and Tumor Detection." arXiv preprint arXiv:2301.00785 (2023).

[7] Yi, Huahui, et al. "Towards General Purpose Medical AI: Continual Learning Medical Foundation Model." arXiv preprint arXiv:2303.06580 (2023)