从视觉到语言：医学大模型研发与应用的最新进展｜活动预告

8月10日，OpenMMLab浦视将举办“AI奇妙夜”直播活动。邀请OpenMEDLab浦医团队成员、上海人工智能实验室青年科学家王潚崧博士、张晓凡博士，带来主题分享《从视觉到语言：医学大模型研发与应用的最新进展》。

“AI奇妙夜”由OpenMMLab联合北京超级云计算中心推出，旨在追踪社会热点，解读AI前沿，以开源的算法促进AI知识渗透，基于超算/高性能计算，探索人工智能前沿应用。

【活动详情】

主题：《从视觉到语言：医学大模型研发与应用的最新进展》

嘉宾： 

王潚崧 上海人工智能实验室青年科学家

张晓凡 上海交通大学电院清源研究院长聘教轨副教授、博士生导师，上海人工智能实验室双聘青年科学

时间：北京时间 8月10日 20:00-21:00

观看方式：视频号直播

【讲座简介】

作为全球首个开源的医疗多模态基础模型群，OpenMEDLab融合了全球顶尖的AI研发能力、海量医学数据以及医学专家知识，首批发布的基础模型群中，包含基于医学图像、医学文本、生物信息、蛋白质工程等10余种数据模态训练而成的基础模型。长期以来，医学数据在数据模态、成像模式、图像特征等方面种类繁多、差别较大，使得通用大模型难以在医学图像分析方面实现令人满意的性能。OpenMEDLab将医学数据训练中学习到的特征，高效应用于海量医疗下游问题中，从而实现针对不同任务的小数据、弱标注、高效率的训练。同时，模型群兼顾性能与落地的平衡，在医疗场景中的部署应用更具便捷性，从而让基础模型在更多医疗长尾问题中得以落地应用。此外，该模型群中的医学大型语言模型PULSE，以400万数据样本进行微调，针对下游应用开发插件，展示了强化学习和多模态会话功能。同时，PULSE针对SARS-COV-2文献和其他特定应用进行了优化。目前，新一代的量化处理和更新的模型正在积极开发中。本期讲座，王潚崧博士及张晓凡博士将分享包括OpenMEDLab浦医基于提示学习的基础模型在医疗领域前沿应用、医学大型语言模型研发与应用的最新进展等内容。

OpenMEDLab开源链接：https://github.com/openmedlab

【本期嘉宾】

王潚崧    上海人工智能实验室青年科学家

于2012年英国布里斯托大学获得计算机视觉方向的博士学位。专注于医疗图像和文本分析相关工作超过11年，在学术界和工业界累积了丰富的科研和产品开发经验。共发表期刊和会议论文30余篇，合编医学图像分析相关专著1本，编写2部专著中的4个章节，申请中国和美国专利20余项，谷歌学术论文引用量超过6200次。在美国国家卫生研究院NIH和美国英伟达Nvidia公司工作期间，主导和参与过一系列医疗相关的科研和产品开发工作。其成果获得了多项国际学术奖项，包括2019BMVC会议最佳论文，2016年北美放射学会年RSNA会学员研究奖和2019MICCAI-GLMI会议最佳论文奖等。

张晓凡

上海交通大学电院清源研究院长聘教轨副教授、博士生导师

上海人工智能实验室双聘青年科学家

拥有北京航空航天大学学士、美国北卡罗莱纳大学夏洛特分校博士学位。曾任京东硅谷研究院高级研究员、商汤科技北美智慧医疗实验室计算机视觉研究员。于2021年6月加入上海交通大学清源研究院。研究领域聚焦于医学图像、语言大模型和多模态决策。在国际顶级期刊及会议中发表论文十余篇。谷歌学术近五年引用千余次，H-index 11；申报美国专利3项。

【活动组织方】

指导单位：中国计算机学会高性能计算专业委员会、北京市科学技术协会、中国图象图形学学会科普与教育工作委员会

主办单位：OpenMMLab、北京超级云计算中心

协办单位：北京图象图形学学会、ReadPaper论文阅读