科研动态

Dynamics

首页 >  科研动态 > 新闻  >  详情

共建AI基础软硬件生态,OpenMMLab浦视支持昇腾AI处理器

继去年9月与昇腾AI签署协议正式合作,上海人工智能实验室近期完成了OpenMMLab浦视视觉开源算法库在昇腾AI处理器的训练与部署,逐步实现对昇腾的全面支持。

目前,用户可在昇腾910 AI处理器进行OpenMMLab算法库模型训练,并将其部署在昇腾310 AI处理器上进行推理。双方的合作将赋能开发者基于OpenMMLab和昇腾软硬件平台进行人工智能应用的高效开发、部署,促进更多业务场景的技术创新和生态共赢。


OpenMMLab浦视视觉算法开源体系是深度学习时代计算机视觉领域最全面、最具影响力的开源算法体系。旨在为学术和产业界提供可跨方向、结构精良、跨站性强、易复现的统一算法工具库。目前,OpenMMLab已经累计开源了超过30个算法库,涵盖分类、检测、分割、视频理解等众多算法领域,拥有超过300种算法实现、2400多个预训练模型。在GitHub上获得超过7.2万个标星,同时吸引了超过1500名社区开发者参与项目贡献,用户遍及110个国家和地区,覆盖全国全球顶尖高校、研究机构和企业。

4cf4c93be69ab1bda3266eaab47176a.png

OpenMMLab浦视视觉算法开源体系

昇腾CANN是专门面向AI场景的异构计算架构,同时作为昇腾AI基础软硬件平台的核心组成部分之一,搭起了从上层深度学习框架到底层AI硬件的桥梁,全面支持昇思MindSpore、飞桨(PaddlePaddle)、PyTorch、TensorFlow、Caffe、计图(Jittor)等主流AI框架,提供900多种优选模型,能够覆盖众多典型场景应用,兼容多种底层硬件设备,提供强大异构计算能力。

ac7e2417f27672386f0feef68cf911b.png

昇腾全栈AI软硬件平台

“随着OpenMMLab对昇腾逐步实现全面适配,双方将覆盖更多典型场景应用,兼容更多的底层硬件设备并提供更强大的异构计算能力。“上海人工智能实验室教授林达华表示,“实验室目前已发布‘浦源’人工智能开源开放体系,推动人工智能对产学研各领域全面赋能,为构建人工智能开放生态,推动人工智能科研与技术突破、交叉创新和产业落地提供全方位的算法与平台支撑。”


【训练成果】

目前,OpenMMLab已在昇腾AI处理器上实现了基础库(MMEngine、MMCV)及算法库(图像分类MMClassification、目标检测MMDetection)的适配,并支持基于昇腾AI处理器的训练加速。

OpenMMLab算法库的架构共包含五个层级:训练处理器、深度学习框架、基础库、视觉算法库及部署框架。在深度学习框架层,由昇腾团队对PyTorch进行适配;在基础库层,由双方合作添加OpenMMLab算法库对昇腾设备的训练支持。

81a1e8259bd721e2751f93ae0bef702.png

OpenMMLab算法库架构

截至目前,针对昇腾910 AI处理器,视觉基础库MMCV、分类算法库 MMClassification、目标检测算法库MMDetection已分别实现16个算子、10个模型和9个模型的支持。


【部署成果】

MMDeploy作为OpenMMLab的推理部署工具,可将OpenMMLab算法部署到多种软硬件平台上。具备灵活框架适配度的昇腾异构计算架构CANN与 MMDeploy相结合,不但扩充了OpenMMLab算法推理后端,帮助开发者快速构建AI应用和业务,还能充分发挥昇腾AI硬件算力,加速推理业务的执行。

a9286a0652d30bd0de62072681cde2b.png

MMDeploy架构图

Model Converter作为MMDeploy的模型转换模块,通过onnx2cann将前端模型转换为昇腾AI硬件支持的模型格式,然后送入MMDeploy的Inference SDK模块,调用CANN的AscendCL应用开发接口完成推理任务在昇腾AI硬件上的执行。

fa55227af7b22733f22bff06ea837e4.png

基于MMDeploy和CANN的推理部署框架

通过MMDeploy和CANN的对接适配,目前已验证包含OpenMMLab 4个算法库在内的18个流行的视觉算法可直接在昇腾AI处理器上运行。

未来,随着OpenMMLab和昇腾合作的不断深入,双方将支持更多算法库的训练和推理,并持续优化性能。同时,也欢迎开发者在OpenMMLab和昇腾的开源社区交流探索,以更完善的模型满足度、更高效的推理部署方式,赋能更多人工智能场景,共同推进计算产业发展与生态构建。


comm@pjlab.org.cn

上海市徐汇区云锦路701号西岸国际人工智能中心37-38层

沪ICP备2021009351号-1