实验室第26期“青年学术论坛”开讲 | 活动预告

6月22日上午，上海人工智能实验室“青年学术论坛”（第26期）开讲。论坛不定期邀请全球顶尖AI青年学者分享其代表性工作，本期嘉宾是北京大学助理教授贺笛，他将带来《Your Transformer May Not be as Powerful as You Expect》的主题演讲，介绍团队开发的基于通用RPE(URPE)的Transformer。

【讲座简介】

相对位置编码(RPE)能够将任意一对标记之间的相对距离进行编码，这是最常用的Transformer变种编码之一。在本工作中，贺笛团队理论分析了基于相对位置编码Transformer模型的能力，并表明现有变种存在无法近似的空间。团队发现其中一个关键原因在于该方法总是放在正确的随机矩阵的Softmax Attention中，这限制了网络捕获RPE中的位置信息。为了解决该问题，团队开发了一种新颖的基于通用RPE(URPE)的Transformer来克服实践中的限制。

【本期嘉宾】

贺迪，北京大学智能学院助理教授，曾任微软亚洲研究院主管研究员。其研究方向涉及NLP、GNNs以及利用机器学习技术探索科学领域，在机器学习顶级国际会议 ICML、NeurIPS、ICLR 上发表数十篇论文。其团队设计的图神经网络 Graphormer 在 KDD 2021 分子性质预测挑战赛及 NeurIPS 2021 分子动力学模拟挑战赛中击败包括 DeepMind、Facebook AI Research 等对手夺冠。

【主持人】

许晶晶，上海人工智能实验室青年科学家。其主要研究方向为自然语言处理和机器学习，已在国内外知名学术会议如NeurIPS、ICML、ACL、EMNLP等发表多篇一作论文，曾入选AAAI 2021 New Faculty Highlights并获得ACL 2021最佳论文。

【参与方式】

活动时间：2022年6月22日  10:00-11:00

线上小鱼会议号：9005124626