《自然》子刊发表实验室最新成果：解锁后GPU时代算力，BayesFT显著提升模拟神经网络鲁棒性

近日，上海人工智能实验室（上海AI实验室）与上海交通大学联合提出了一项关于模拟深度神经网络（Analog DNNs）的最新研究成果——通过贝叶斯优化的噪声注入方法提高模拟深度神经网络的精准度。

目前，该成果的相关论文“Improving the robustness of analog deep neural networks through a Bayes-optimized noise injection approach”已发表于Nature旗下刊物Communications Engineering。

论文标题：Improving the robustness of analog deep neural networks through a Bayes-optimized noise injection approach

论文链接：https://www.nature.com/articles/s44172-023-00074-3

【模拟深度神经网络的噪声瓶颈】

现有计算系统普遍采用存储和运算分离的架构，存在“存储墙”与“功耗墙”瓶颈，已经无法满足当下爆发式增长的算力需求。近年来，基于忆阻器的模拟深度神经网络（Analog DNNs）模仿人脑的结构和工作原理，将存储与计算融为一体，具有高并行、低功耗、高算力的特点，因此存算一体的类脑计算有望打破冯诺依曼架构，是后摩尔时代下的重要选择，尤其适用于大数据、大规模并行的应用场景。该计算架构利用交叉线路计算架构实现深度神经网络的常见操作，避免了数据从内存传输到计算设备的瓶颈，从而突破了内存墙。

然而，模拟深度神经网络同样面临重大挑战，该计算架构对热噪声、电气噪声、工艺变化和编程错误非常敏感，无法像数字电路那样通过高低电压之间的差距来抵抗噪声，可能导致网络参数（由交叉线路交叉点处的电导表示）失真，从而影响模拟深度学习系统的可用性。

为了减小噪声的有害影响，目前已有一些研究致力于改善设备稳定性，例如采用新材料和优化电路设计等方法。这些方法在一定程度上能够缓解噪声问题。然而，硬件修改通常只适用于特定类型的设备，缺乏普适性且增加额外的硬件成本。从算法的角度来看，以往的研究已表明，在训练过程中注入噪声可以改善模拟计算设备的噪声鲁棒性，提升网络的精准度。

【突破噪声瓶颈，提升网络检测精准度】

基于以上背景，上海AI实验室视觉传感器研究团队提出了一种名为BayesFT的噪声注入方法，并从理论上对注入噪声强度和噪声对性能的影响进行了深入分析，训练出具有容错性、抗噪声性和适用于复杂任务的模拟深度神经网络。

研究团队首先分析了影响容错性的关键因素，通过MemSim的忆阻器模拟平台来研究不同深度神经网络架构对模拟噪声鲁棒性的影响。着重探究了四个可能的影响因素，包括Dropout噪声、归一化、模型复杂度和激活函数。实验结果表明，具有Dropout层的网络在训练过程中随机去除参数，从而能够提高对缺失参数的鲁棒性，增强了网络对参数漂移的抵抗能力。此外，在适当的噪声注入设置下，自动搜索最优的神经网络架构至关重要。基于这些发现，研究人员提出使用贝叶斯优化的噪声注入方法（BayesFT）来搜索最优的Dropout Rates。同时，研究对不同的注入噪声的分布模型进行了数学论证，在理论上证明了Dropout噪声的有效性。实验显示，该方法在有噪的模拟计算设备上，对于复杂任务可实现网络检测精准度的显著提升。

具有容错性的模拟深度神经网络框架

【已通过多个识别任务验证】

实验证明，BayesFT适用于各种深度神经网络架构，并通过多个识别任务验证，包括图像分类（MNIST和CIFAR-10），交通标志识别和3D点云检测（KITTI）。
在图像分类任务中，BayesFT的平均精度相比其他算法至少提高了30%。基线方法（经验风险最小化ERM）的分类精度随着噪声的增加而迅速降低，而BayesFT仍具有稳定的性能。

在图像分类任务上的实验结果

在交通标志识别任务中，BayesFT在σ = 0.4（衡量网络噪声的参数）时达到了基线方法检测精度的三倍，极大地提高了模拟计算设备上的行人检测系统的安全性。

在二维目标检测上的实验结果

在3D点云检测任务中，BayesFT的平均检测精度显著优于基线算法，在噪声参数为0.4时，ERM的检测进度已降到0，而BayesFT仍然保有50%的精度。

在自动驾驶任务中三维目标检测上的实验结果

BayesFT使模拟深度神经网络对噪声不敏感，即使在大量噪声下，也只会带来相对较低的精度损失。通过提供可靠的实证性能和理论保证，该研究成果可以将模拟深度神经网络的实用性扩展到以前无法应用的自动驾驶等生命关键任务领域。

结合日益发展的存储器技术和模拟深度神经网络，未来存算一体技术将形成新一代的算力元素，有望推动下一阶段的人工智能发展。