陈贝迪：基于现有硬件的高效稀疏且准确的基础模型训练 | 第2期“星河Talk”活动预告

11月16日，“上海人工智能实验室学术论坛”将举办第2期“星河Talk”。本期邀请到FAIR研究科学家、卡内基梅隆大学助理教授陈贝迪带来主题报告《基于现有硬件的高效稀疏且准确的基础模型训练》。

第2期“星河Talk”

【活动详情】

分享主题：基于现有硬件的高效稀疏且准确的基础模型训练分享嘉宾：陈贝迪  FAIR研究科学家、卡内基梅隆大学助理教授主持人：孙鹏  上海人工智能实验室青年科学家活动时间：北京时间 11月16日（周三） 11:00-12:00参与方式：腾讯会议 762 242 224

【讲座简介】

近几年，机器学习中的模型大小和数据量都在快速增长，大模型训练需要消耗大量的计算资源。陈贝迪与团队的工作成果表明，可以根据当前硬件性质调整算法以实现模型训练效率的进一步提高，且不会降低准确性。在本次演讲中，她将首先介绍一系列利用模型计算的稀疏性来加速模型训练的工作方法。首先是GPU上简单高效的稀疏模型训练框架Pixelated Butterfly和Monarch，它们使用基于蝶形和低秩矩阵的简单、静态且有结构的稀疏模式，同时考虑了GPU在密矩阵相乘的效率。其训练速度比密集的Vision Transformer和GPT-2同类产品快2.5倍，且准确度没有下降。此外，她还会介绍一种在低速网络上高效通信的流水线并行训练框架AC-SGD。团队观察到，模型参数在训练期间变化非常缓慢，所以为了减少通信时间，AC-SGD没有像很多相关工作一样传输压缩的激活，而是选择压缩当前时间点激活与之前激活的变化，它在不降低模型质量的情况下，能在较慢的网络中以4.3倍的速度训练或微调DeBERTa和GPT2-1.5B。最后，陈贝迪将概述未来三个研究方向——机器学习模型处理与学习数据效率的提高、软硬件协同设计以及机器学习在基础科学中的应用。

【本期嘉宾】

陈贝迪  FAIR研究科学家、卡内基梅隆大学助理教授（2023年即将任职，目前正在招收博士生）

曾任斯坦福大学博士后研究员，于2020年获莱斯大学计算机科学博士学位，2015年获加州大学伯克利分校学士学位，研究重点为高效深度学习，设计并优化了当前硬件上的随机算法，以加速大型机器学习系统。她曾被MIT和UIUC选为EECS Rising Star（电子工程与计算机新星），论文曾获得ICML 2022 Outstanding Papers Runner Up（杰出论文奖第二名）。

【主持人】

孙鹏  上海人工智能实验室青年科学家

上海人工智能实验室学术论坛

“上海人工智能实验室学术论坛”为此前“青年学术论坛”的全新升级版论坛。新版论坛分设“星河Talk”与“星启Talk”两个主题系列活动，将分别邀请全球顶尖教授和青年研究者作为嘉宾，线上线下分享学术成果、探讨科技前沿。更多精彩内容，敬请期待。