上海AI实验室汇聚近百位青年科学家提出关键问题，直指AI安全治理结构性困局

近日，据新华社报道，中美同意开展人工智能政府间对话，两国应该携手促进人工智能发展和治理，推动人工智能更好服务人类文明进步和国际社会共同福祉。

全球AI发展与治理话题引发高度关注。作为造福人类的国际公共产品，人工智能需各方协同共治；同时，随着其能力持续扩展，安全风险更趋碎片化与复杂化，行业亟需探索全新的安全机制、防护体系与合作模式。

近期，在中国科学技术协会的指导下，上海人工智能实验室（上海AI实验室）主办了奇点科学会议（明珠湖），以“安全可信AI：从边界探索到体系构建”为主题，围绕内生安全、系统防护、产业赋能、全球协作等维度开展探索，以图系统回应AI安全治理面临的结构性挑战。

会议期间，来自学术界、产业界与战略研究领域的专家学者和青年代表50 余人，通过“靶向破题—深度拆解—战略收敛”等环节，基于核心议题进行深入研讨。

• 内生安全：探索内生安全机制与架构突破

大模型能力持续拓展，AI安全问题也同步升级。传统AI安全机制在静态场景中具有一定效果，但面对跨语言、跨模态、复杂语义、智能体系统和持续演化风险时，开始暴露出不足。安全如何成为大模型与生俱来的能力？如何随着智能一起生长、一起涌现？如何构建可度量、可干预、可演化的安全机制，使其在不确定环境中持续保持安全边界稳定？本议题的关键问题如下：

1、什么是内生安全？

2、如何实现大模型跨语言、跨模态和多语境下安全标准统一？

3、如何构建可自适应演化的内生安全架构？

4、如何用科学评测体系发现、定位和量化风险，构建多层次交叉验证的内生安全评测体系？

5、如何对AI风险实施过程性动态管控，而非仅在输出后进行被动处理？

6、如何根据新风险、新任务和新环境，实现AI安全机制持续更新？

• 系统防护：面向前沿模型的防护体系构建路径

传统安全观将风险建模为已知攻击模式的变体，但前沿模型的真正挑战在于能力跨越特定阈值后，涌现出人类未曾定义、评测集未曾覆盖、防御规则未曾预见的全新风险类别。如何构建智能体全流程安全技术方案？ 如何将安全评测从静态测题升级为可定位、可优化、可量化防护成本的闭环过程？本议题的关键问题如下：

1、如何在事前发现并精准界定前沿模型潜在安全风险？2、如何设计可协作开放的真实模拟环境，推动安全评测从静态题库式测试转向动态可迭代的实战化检验？3、如何实现智能体长效安全对齐与防护，推动安全体系由静态防御转向动态自适应闭环防护？

• 产业赋能：人工智能“安全即服务”的产业模式

AI驱动的自动化攻击呈现规模化、隐蔽化、智能化、链条化特征，传统的防御体系已难以满足高强度、高动态的安全对抗需求。对此，如何将安全技术转化为一体化解决方案，加速智能体的产业化落地实践？如何构建全方位的AI安全基础设施体系？本议题的关键问题如下：

1、如何构建贯穿研发与应用全链条的标准化安全防线，推动AI从试点走向规模化应用？

2、如何依托行业通用的设施架构与技术路线，以产业资源反哺安全能力建设，构建安全技术与产业场景的协同机制？

3、如何基于通用架构搭建安全稳态体系，统筹AGI可控性与场景适配性，建立人机协同演进机制，赋能产业持续稳健发展？

• 全球协作：构建包容互鉴的全球AI安全治理新范式

全球AI安全治理正面临深层结构性困局：一方面，模型权重作为无形数字资产可被无损跨境复制，风险归因高度分散；一方面，AI安全侧重正向建设而非硬性约束。这使得依赖物理管控、条约威慑与禁止性义务的传统治理逻辑难以奏效。如何超越既有制度想象，构建适配AI治理新结构的全球协作机制，最大化治理效能？本议题的关键问题如下：

1、如何应对AI企业通过API向他国用户提供服务所引发的大规模算法歧视、虚假信息等跨境伤害？

2、如何建立不依赖物理存在的有效追责机制？

3、如何区分“AI安全”的主体诉求与高风险场景，设计分层级、可执行的最低基准？

4、针对企业视安全为合规成本而非竞争力的现状，如何通过制度调整重塑激励结构，推动安全成为可量化效益乃至产业竞争优势？

5、在先发国家主导的前沿风险标准形成路径锁定前，如何构建兼顾发展中国家利益、具有制度想象力的双支柱替代性框架，并依托南方国家合作体系进一步落地？

“人工智能的治理做得好不好，最终会决定人工智能产业能够走多远。”上海人工智能实验室主任、首席科学家周伯文近期在《焦点访谈》中指出AI安全的重要性。

上海AI实验室持续在AI安全领域深耕，提出了“AI-45度平衡律”“Make AI Safe”“安全即服务”等前沿理论及创新模式，并取得一系列科研进展：打造了高安全、产业级智能体操作系统书安，构建“底层隔离、流程守护、认知进化”三层安全机制，为企业提供端到端的可信方案；推出了智能体全栈安全工具箱墨铠，提供14类、150余个安全工具，为产业场景提供全面、轻量、易落地的安全保障。

上海AI实验室正牵头筹建人工智能安全标准工作组（WG9），并于近日举办第二次全体会议，围绕“人工智能百项国家标准建设专项行动”要求，深化探索“安全即服务”模式，着力制定可量化、可评估、可服务化的先进标准，以高水平安全助力人工智能产业高质量发展。