顾全全：理解深度学习中的专家混合模型 | 首期“星河Talk”活动预告

10月27日，“上海人工智能实验室学术论坛”第1期“星河Talk”将正式开讲。本期活动邀请到加利福尼亚大学洛杉矶分校副教授顾全全，带来主题为《理解深度学习中的专家混合模型》的报告。

“上海人工智能实验室学术论坛”为此前“青年学术论坛”的全新升级版论坛。新版论坛分设“星河Talk”与“星启Talk”两个主题系列活动，将分别邀请全球顶尖教授和青年研究者作为嘉宾，线上线下分享学术成果、探讨科技前沿。名家云集“星河”灿烂，新秀冉冉“星启”未来，两大系列活动将陆续带来更多精彩内容，敬请期待。

【第1期“星河Talk”】

活动详情

分享主题：理解深度学习中的专家混合模型

分享嘉宾：顾全全 美国加州大学洛杉矶分校副教授

主持人：李怡康 上海人工智能实验室双聘青年科学家

活动时间：北京时间 10月27日（周四）10:30-11:30

参与方式：腾讯会议 443 238 513

讲座简介

专家混合模型（MoE）是一种由路由器控制的稀疏激活模型，它在深度学习中获得了巨大的成功。然而，要理解此类架构其实是比较困难的。在此次论坛中，顾全全将着重分享专家混合模型是如何提升神经网络学习性能的，以及混合模型为何不会坍塌为一个单模型。实证结果表明，潜在问题的聚类结构和专家的非线性是专家混合模型成功的关键，这促使团队考虑一个具有内在簇结构的分类问题。团队从理论上证明，这个具有挑战性的分类问题很难由单个类似双层卷积神经网络（CNN）的专家来解决，但使用MoE，每个专家都是两层CNN，可以成功地解决问题。据了解，这是第一个正式理解深度学习MoE机制的理论成果。

本期嘉宾

顾全全 美国加州大学洛杉矶分校副教授

顾全全现任美国加州大学洛杉矶分校副教授，2014年博士毕业于伊利诺伊大学厄巴纳-香槟分校，长期从事人工智能和机器学习相关研究，重点开发和分析机器学习中的非凸优化算法，以理解大规模、动态、复杂和异构的数据，并为深度学习奠定理论基础。

顾全全是2022年斯隆研究奖获得者。此前，他曾于2015年获得“雅虎学术职业发展奖”，并于2017年获得美国自然科学基金委的“杰出青年学者成就奖”。

主持人

李怡康 上海人工智能实验室双聘青年科学家，上海交通大学博士生行业导师