龚克：下一阶段AI基础研究应主攻“可解释性” | 浦江AI评论第③期

近年来，人工智能作为一个通用技术正越来越多地和实体经济相融合；与此同时，AI正成为科学研究的一个重要工具。这些进展的背后，是AI算法的进步。过去三年间，有关算法的研究在持续发展，并且应用领域越来越广泛。在“2021世界人工智能大会-科学前沿全体会议”上，世界工程组织联合会主席、中国新一代人工智能发展战略研究院院长龚克分享了他关于人工智能算法发展的看法。

        龚克认为，尽管已有上述成果，但无论是深度学习体系的创新，还是多种学习方式的融合创新，或是对已有算法进行解释性增强的研究进展，具备理解能力的算法模型目前尚未显现。然而，算法的可解释性涉及AI系统的可理解、可靠、透明、问责等一系列可信性要求，为此，他呼吁把可解释性作为下一阶段AI算法基础研究的主攻方向。

AI加速与实体经济相融合

        在2018年、2019年和 2020年这三年间，我们持续地观察人工智能产业的发展，把人工智能产业主体之间在技术的输入输出、资金的输入输出以及人才流动三个方面的关系连接起来，构成了一个复杂的价值网络图。可以看出，图中较大的节点连接的小点特别多，在这里面起到重要的连接作用，（这些大节点）都是一些主导型的企业，它们从BAT这样互联网公司越来越多地过渡到实体经济。从这里可以观察到的是，AI作为一个通用的技术正在越来越多地和实体经济相融合。

AI加速与实体经济相融合

AI成为科学研究的有力工具

        另外一个观察，就是AI正在成为科学研究的一个非常重要的工具。举两个例子，一是DeepMind开发的AlphaFold2所预测生成的蛋白质折叠三维图，这张图过去通常是要用X射线衍射仪等精密仪器测量和非常耗时耗力的计算等等才能做出来，现在它已经达到了最先进科学实验手段可以达到的同样水平，被《自然》评价为解决了"困扰生命科学50年的问题"，是一个非常重大的进展。特别是，不久前AlphaFold2实现了开源，引起了生命科学界的震动。

    AI成为科学研究有力工具

        第二个例子是 DeepMind开源了FermiNet来解薛定谔方程。薛定谔方程因计算量大，在过去100年间一直是一个比较难解的方程，而去年开源的FermiNet可以近似地求解薛定谔方程，为解决困扰科学界的重大问题提供了非常有力的工具。不久前，德国柏林大学的科学家用基于机器学习的波函数拟设的方法提出了更精确的薛定谔方程的解。以上例子说明了人工智能不仅存在于我们的交谈、会话和机器人的应用，而且成为了科学研究非常重要的工具。

AI算法研究持续发展

        所有这些进展的背后是什么呢？是算法的进步。当我们在WOS（Web of Science）搜索Machine Learning、Neural Network、Deep Learning等词汇可以发现，在过去三年间有关算法的研究在持续地发展，且应用领域越来越广泛。我们关心的不仅是它的应用领域广泛，还关心算法本身有没有重要的新进步。

        怎么来观察它的进步呢？

        第一，是在突破数据瓶颈方面的发展。

2017年，中国推出了《新一代人工智能发展规划》，这个规划是2017年到2030年的中长期规划。当时，中国科学院的一个报告提出过人工智能面临着六个瓶颈（此处引用的是当时中科院专家的PPT）。首先，我们这一代人工智能是大数据驱动的人工智能，数据的可获得性、质量、标注的成本等是制约人工智能发展的第一个瓶颈。

在突破数据瓶颈方面的进展

        解决这个瓶颈目前有哪些重要的进展呢？非常令人高兴的是，在过去一年，已经有了比较明显的进展。以现在正在被大量使用的GPT-3预训练模型为例，这样一个大型自然语言模型的推出和开放，使得数据方面有了一个非常强大的工具，而且我个人感觉像GPT-3这样的工具不仅在自然语言方面，将来也会针对图像以及其他方面推出预训练模型。

        还有一个我认为比较重要的进展，我们过去总是担心数据的质量，特别在语音方面有大量的噪声。在过去一年里，深度残差收缩网络以及基于对比学习的自监督学习模型的推出也解决了数据质量和成本的问题。具体而言，深度残差收缩网络引入了注意力机制（Attention Mechanism），通过注意力机制可关注到那些重要的特征，再通过软阈值函数把不重要的特征置为零，从而提高了抗噪的能力，解决了数据的质量问题。

        另外，基于对比学习（Contrastive Learning）的无监督或自监督学习模型，缓解了现在数据标注需要大量的人力及成本的问题。这些例子代表着我们在突破数据瓶颈方面的努力已取得了令人瞩目的进展。

        第二，是在突破能效瓶颈方面的发展。

        人工智能的发展还有一个重要的瓶颈，就是它的能效。几年前在夏季达沃斯论坛期间有个关于AlphaGo的小型研讨会，李世石也参加了。在谈到机器人棋手与人类棋手的差别时，他认为，与机器人棋手下棋的感受不像和人类棋手下棋，没有“手谈”的感觉；此外，他还提到了棋手的能耗问题，AlphaGo的能耗是人类棋手的上千倍，人吃那点饭折算成标准煤（通常把能耗折算成标准煤来比较）是可以忽略的，但是人工智能计算机的能耗非常大。所以，我觉得能耗是AI发展的刚性约束。

在突破能效瓶颈方面的进展

        在过去一年中，突破能效的瓶颈方面也有值得关注的进展。比如说，不久前麻省理工学院、维也纳工业大学、奥地利科技学院共同发布了一个自动驾驶类脑模型，这个类脑模型只用了19个神经元就实现了控制自动驾驶汽车。当我第一次看到这个模型时，觉得是不是数量级印错了，后来证实确实就只用19个（神经元），而传统的深度神经网络模型则需数百万级的神经元。如果能进一步发展下去，从能效上来讲至少提高了两个数量级。

        再看一个例子，去年清华大学张悠慧团队提出的 “类脑计算完备性”概念，在《自然》发表以后受到了很大的关注。从前面的例子看到，类脑计算的能效会比传统深度学习要高得多，但是类脑的计算到现在为止的发展更多地是和特定应用（Application Specific）联系得比较密切，而且它和硬件是co-design（协同设计）的，这样一来就产生了可转移性方面的困难。

        “类脑计算完备性”概念的提出，使得类脑计算系统变成一个通用的平台，可以把软硬件进行一定的分离，这在通用化上前进了一大步，可使类脑的方案更广泛地应用到不同场景，对于破解类脑计算系统存在的软硬件紧耦合问题而言是一个突破性的方案。

        北京大学也做了一个非常重要的工作，这个工作利用了一类新的器件——相变存储器（PCM），它的电导是具有随机性的，做成的神经网络高速训练系统有效地缓解了传统神经网络训练过程中时间、能耗巨大并难以在芯片上实现的问题。这个工作去年发表在IEDM（第66届国际电子器件大会）上，这是一个电子学方面非常重要的会议，也是一个引人瞩目的进展，说明我们在解决人工智能的能效瓶颈方面已经取得了一些比较令人瞩目的进展。

        第三，是在突破可解释性瓶颈方面的发展。

        随着人工智能的快速应用，人们对可信任的人工智能的呼声越来越高，我个人觉得要使人工智能可信任，首先要让它做到可解释，在可解释性方面如果能够突破的话，就可以突破可靠性以及可转移的问题。在这一方面，过去一年中我们看到了什么样的进展呢？

    在突破可解释性瓶颈方面的进展

我们看到，比如说《Geometric Understanding of Deep Learning》这篇文章是发表在中国工程院办的《Engineering》杂志上，由清华大学、北京大学、哈佛大学和加州大学伯克利分校等共同完成的一项工作。它主要针对生成对抗网络（GAN），通过几何的映射找到了生成对抗网络里面的生成器和判决器之间的关系，进而找到了模型坍塌的原因，并提出了一个改进的模型，这不能说在解决可解释瓶颈上获得了突破，但却是一个非常有意义的进展，是从数学的角度解决可解释性问题的进展。

        再如，2020年7月，柏林工业大学和康奈尔大学的团队夺得了SIGIR 2020最佳论文奖，题目是关于一个公平无偏的排序系统（《Controlling Fairness and Bias in Dynamic Learning-to-Rank》），那怎么做到无偏排序系统，这里引入了因果学习。这些年关于因果学习的研究工作很多，但是能达到这样的成就我认为是非常值得称赞的，说明我们从过去简单认识数据的相关性、关联性到（如今）探索它的因果性取得了非常重要的进步，是实现可解释性的一个非常重要的途径。

        但所有的这些结果，特别是在可解释方面，无论是一些新的深度学习体系的出现，还是对有关体系的融合创新所作出的努力，我个人认为，这些还未能提供一个比较系统性的、可解释和可广泛使用的深度学习模型方案，比方说对CNN（卷积神经网络）的研究有不同的研究路线，也有一定程度的进展，但还没有达到对整个机器学习这一类，数据驱动的机器学习算法这一类实现可解释。

        再打个比方，（用机器）来辨别到图中到底是猫还是狗，现在的方法是使用标注好的测试集来证明，其准确度可以达到98%，但是我希望将来会有一个数学归纳的证明，不仅是用1、2、3……去验证算法是对的，而是对于任意的“n”和“n+1”也是对的，通过严格的数学证明可以让我们彻底相信它。

        最后，我想引用霍金的话结束我今天的发言，强烈地呼吁把可解释性作为我们下一段AI领域基础研究的主攻方向，争取在不久的将来能够为AI的进一步广泛应用提供一个坚实的可信基础，从而实现霍金在临终前嘱咐我们的——“让人工智能造福人类及其赖以生存的家园”。

        谢谢各位。