前沿AI风险算法研究员
安全可信AI中心|全职|科研通道|上海
2025-12-22
岗位职责
1. 针对超级智能体、前沿AI智能体及AI4S智能体,研究其潜在的内生未知风险(如目标偏移、权力寻求、策略欺骗、模型逃逸等),建立具备前瞻性的风险识别、建模与形式化分析的理论框架;
2. 设计并开发算法与系统,用于预测、评估和量化前沿AI系统在高度复杂、开放或对抗性环境下的极端风险场景与连锁效应,构建风险预警指标体系;
3. 开展对大语言模型、自主智能体等前沿AI系统的安全性评估,推动风险防御从“事后治理”转向“前瞻预测”的研究范式突破;
4. 研究针对超级智能和前沿模型的创新性安全对齐与风险控制方法,探索可控、可靠、可中断的人工智能架构与干预机制;
5. 跟踪国际AI安全与风险研究最新进展,参与高水平学术交流与协作,并推动在国际顶级AI/安全会议或期刊上发表研究成果。
2. 设计并开发算法与系统,用于预测、评估和量化前沿AI系统在高度复杂、开放或对抗性环境下的极端风险场景与连锁效应,构建风险预警指标体系;
3. 开展对大语言模型、自主智能体等前沿AI系统的安全性评估,推动风险防御从“事后治理”转向“前瞻预测”的研究范式突破;
4. 研究针对超级智能和前沿模型的创新性安全对齐与风险控制方法,探索可控、可靠、可中断的人工智能架构与干预机制;
5. 跟踪国际AI安全与风险研究最新进展,参与高水平学术交流与协作,并推动在国际顶级AI/安全会议或期刊上发表研究成果。
岗位要求
1. 硕士及以上学历,计算机科学、人工智能、网络安全、数学或相关专业;
2. 精通AI技术,对大语言模型、强化学习智能体及多智能体系统的前沿技术有深刻理解;
3. 具备出色的数学建模或概率推理能力,能够对模糊、不确定的风险进行结构化定义与量化分析;
4. 具备优秀的Python编程能力及AI训练框架使用经验,有处理复杂实验与仿真的能力;
5. 具备优秀的英文文献阅读、技术研判与学术交流能力;
6. 满足以下至少一项专业相关能力:具有AI安全对齐、AI4Science、前沿风险等相关领域的研究或项目经验;具备复杂系统建模、因果推断、形式化验证或高风险系统可靠性分析的研究背景;有深度参与大语言模型、自主智能体或AI4Science项目研发的经验,并对其潜在风险有深入思考。
加分项:
1. 在人工智能、机器学习领域的顶级会议或期刊(如NeurIPS, ICML, ICLR, AAAI, JMLR)上发表过相关论文;
2. 具备跨学科建模能力,对超级智能风险、AI安全治理等宏观议题有系统性的思考和见解。
2. 精通AI技术,对大语言模型、强化学习智能体及多智能体系统的前沿技术有深刻理解;
3. 具备出色的数学建模或概率推理能力,能够对模糊、不确定的风险进行结构化定义与量化分析;
4. 具备优秀的Python编程能力及AI训练框架使用经验,有处理复杂实验与仿真的能力;
5. 具备优秀的英文文献阅读、技术研判与学术交流能力;
6. 满足以下至少一项专业相关能力:具有AI安全对齐、AI4Science、前沿风险等相关领域的研究或项目经验;具备复杂系统建模、因果推断、形式化验证或高风险系统可靠性分析的研究背景;有深度参与大语言模型、自主智能体或AI4Science项目研发的经验,并对其潜在风险有深入思考。
加分项:
1. 在人工智能、机器学习领域的顶级会议或期刊(如NeurIPS, ICML, ICLR, AAAI, JMLR)上发表过相关论文;
2. 具备跨学科建模能力,对超级智能风险、AI安全治理等宏观议题有系统性的思考和见解。


