大模型攻防青年科学家/青年研究员
安全可信AI中心｜全职｜科研通道｜上海
2025-11-24
岗位职责
我们正在寻找兼具深厚AI技术背景和网络安全实战经验的顶尖人才，加入我们的AI安全研究团队。您将作为核心成员，深入研究大模型全生命周期（训练、微调、推理）中的新型攻击与防御技术，设计并实现前沿的安全防护方案。
核心职责（任一）
前沿攻击研究：
深入研究并复现针对大模型的最新攻击技术，包括但不限于：提示注入（Prompt Injection）、对抗样本（Adversarial Examples）、后门攻击（Backdoor Attack）、成员推断攻击（Membership Inference）、模型窃取（Model Extraction） 和 模型反演（Model Inversion）。
构建自动化测试框架，对大模型进行系统性的安全评估，包括鲁棒性、隐私性、公平性等维度。
使用公开数据集（如Real Toxicity Prompts）和自研攻击工具，对模型进行红队测试（Red Teaming）
创新防御方案设计与实现：针对研究发现的威胁，设计并开发创新的防御策略。例如：
设计鲁棒的输入过滤与异常检测机制，抵御提示注入攻击。
研究基于参数高效微调（LoRA/QLoRA） 的安全增强方法。
探索模型量化（INT8/FP16）、模型清洗、稀疏激活网络等技术在提升模型鲁棒性中的应用。
开发基于云边端协同部署的安全推理架构。
核心职责（任一）
前沿攻击研究：
深入研究并复现针对大模型的最新攻击技术，包括但不限于：提示注入（Prompt Injection）、对抗样本（Adversarial Examples）、后门攻击（Backdoor Attack）、成员推断攻击（Membership Inference）、模型窃取（Model Extraction） 和 模型反演（Model Inversion）。
构建自动化测试框架，对大模型进行系统性的安全评估，包括鲁棒性、隐私性、公平性等维度。
使用公开数据集（如Real Toxicity Prompts）和自研攻击工具，对模型进行红队测试（Red Teaming）
创新防御方案设计与实现：针对研究发现的威胁，设计并开发创新的防御策略。例如：
设计鲁棒的输入过滤与异常检测机制，抵御提示注入攻击。
研究基于参数高效微调（LoRA/QLoRA） 的安全增强方法。
探索模型量化（INT8/FP16）、模型清洗、稀疏激活网络等技术在提升模型鲁棒性中的应用。
开发基于云边端协同部署的安全推理架构。
岗位要求
计算机科学、人工智能、网络安全或相关专业硕士及以上学历。
扎实的网络安全基础：熟悉常见攻击与防御原理，了解渗透测试、漏洞分析等方法。
在顶级安全或AI会议/期刊（如上述S&P, CCS, NeurIPS, ICML）上发表过相关论文。
有CTF竞赛（尤其是AI安全赛道）获奖经历。
熟悉联邦学习、差分隐私等隐私保护技术。
有将安全研究成果成功落地到生产环境的经验。
扎实的网络安全基础：熟悉常见攻击与防御原理，了解渗透测试、漏洞分析等方法。
在顶级安全或AI会议/期刊（如上述S&P, CCS, NeurIPS, ICML）上发表过相关论文。
有CTF竞赛（尤其是AI安全赛道）获奖经历。
熟悉联邦学习、差分隐私等隐私保护技术。
有将安全研究成果成功落地到生产环境的经验。
