上海AI实验室参与人工智能安全国际对话，推动全球协同治理

4月17日至19日，上海人工智能实验室主任、首席科学家周伯文出席人工智能安全国际对话伦敦会议（IDAIS伦敦），与图灵奖得主Yoshua Bengio，图灵奖得主、上海期智研究院院长姚期智，清华大学讲席教授、人工智能国际治理研究院学术委员张亚勤，加州大学伯克利分校教授、清华大学人工智能国际治理研究院学术委员Stuart Russell等多位全球顶尖的人工智能科学家共同探讨如何防范人工智能驱动的攻击行为对社会造成大范围危害。

会议形成核心判断：网络安全和生物安全已成为AI风险最集中的两个爆发点，传统防御体系在这两个方向上均出现结构性失效，全球协同刻不容缓。

本次会议由安全人工智能论坛（SAIF）和牛津大学马丁AI治理倡议（AIGI）联合主办，是IDAIS系列对话的第五次会议。

网络安全：传统防御的结构性失效

会议研判指出，AI提升网络攻击能力，核心并非在于知识储备的增加，而是大幅压缩了搜索、反馈、复制与并行试错的综合成本。基于这一判断，风险评估的战略重心需相应调整：不能仅聚焦于模型的有害输出，更应全面审视闭环系统的整体安全状态。

在分组研讨环节，与会专家达成普遍共识：现有防护手段存在明显滞后性与结构性缺陷，面对人工智能快速迭代的发展节奏，传统防护体系难以实现同步优化升级。当前风险增长的核心逻辑也已发生转变——从以往单一攻击强度的提升，演变为威胁行为规模的全面扩张。

具体表现为：攻击门槛骤降引发攻击者行为基数增长，大量低阶攻击者现已具备实施高难度攻击的能力；此外，在防御规避环节，AI显著提升了渗透成功率，使得传统防御体系在原本最擅长的技术领域容易被精准“打击”。这一严峻形势已得到国际前沿网络风险模型的数据验证：当前AI驱动的网络损害已达传统基线的1.4倍。

生物安全：从“专家门槛”到“能力外溢”

在技术风险层面，AI正以前所未有的速度突破生物安全底线。 IDAIS会议研判显示，前沿模型在生物安全测试中已达到或超越博士级领域专家水平。更为严峻的是，AI已突破“仅能检索综合已有知识”的局限，开始产生自然界不存在的新功能性输出。例如，AI生成了300种噬菌体设计，其中16种经湿实验验证可实际感染细菌，且部分序列与天然序列差异显著。此项进展彻底打破了“AI仅能复现已知生物功能”的传统安全认知。

上述态势正与“镜像生命”风险产生高危叠加：镜像生命的核心在于分子手性的完全翻转，对天然生物圈中的所有免疫机制、噬菌体捕食及抗生素干预均具有“绝对豁免权”。简单地说，这意味着理论情况下，由于“镜像生命”设计的人造生命形式因其与自然生命在化学上完全“互不识别”，一旦发生实验室泄漏或恶意释放，现有生态系统没有天然机制可以控制或消灭它，，可能引发不可逆的全球性生物灾难。

当前，在蛋白质语言模型及国内顶尖团队镜像合成技术的驱动下，镜像生命的实现周期正被大幅缩短，远期威胁将演变为现实风险。针对上述态势，全球生物安全治理面临新挑战：现有治理框架偏重于物理遏制与实验室实体管理，对算法驱动的生物设计工具及其衍生风险尚缺乏针对性规制。当前，AI技术已将“专家级生物知识”的获取门槛降至近乎为零，传统DNA合成筛查的漏洞已被实证揭示，镜像生命正从科幻概念快速逼近技术现实，生物安全的防御重点已经从“管控病原体样本”前移至“管控设计工具和合成通道”。

行动共识：面向网络、生物安全，开展协同防范工作

会议期间， 与会科学家与治理领域专家共同拟定了一份共识声明——《IDAIS伦敦宣言》，呼吁各国正视人工智能网络攻击、生物滥用技术不断扩散所带来的共同威胁，并携手开展协同防范工作。Yoshua Bengio、姚期智、张亚勤、Stuart Russell等专家联合签署声明。

针对网络、生物安全明确了工作重点：守护关键基础设施、强化前沿人工智能模型的安全防护、建立完善的风险评估体系。同时提醒，网络领域当下出现的乱象，也为生物安全风险以及未来更多挑战敲响了警钟，其中包括逐步走向自主化的人工智能系统可能出现失控的问题。

周伯文指出，全球AI发展与治理话题引发高度关注。作为造福人类的国际公共产品，人工智能需各方协同共治；同时，随着其能力持续扩展，安全风险更趋碎片化与复杂化，行业亟需探索全新的安全机制、防护体系与合作模式。

上海AI实验室持续在AI安全领域深耕，提出了“AI-45度平衡律”“Make AI Safe”等前沿理论，并推出高安全、产业级智能体操作系统『书安』，探索“安全即服务”创新模式，进而为AI在各行业落地夯实安全基础。实验室将持续秉承开放合作的态度，深度参与国际对话，与全球伙伴共建安全、可信、负责任的人工智能，推动人工智能更好地服务人类文明进步和国际社会共同福祉。