【高阶岗位】预训练青年/资深科学家

岗位职责
1 预训练技术路线与体系规划
- 参与制定通用基座大模型中长期预训练技术规划，涵盖大规模预训练数据、预训练任务、训练范式、并行架构、超参体系等顶层设计；
- 研判业界基座模型技术趋势，持续优化稠密模型、稀疏MoE模型训练路线，定义年度基座模型迭代版本与技术指标；
- 结合OpenCompass评测体系，建立基座模型能力基线，形成训练、评测、归因、迭代完整研发闭环。
2 大规模预训练算法攻关
- 通用基座大模型预训练算法研发，优化预训练目标函数、训练 Curriculum、知识覆盖、冷热知识平衡；
- 负责模型初始化、归一化、激活、位置编码等底层模块调优，提升模型收敛速度、训练稳定性与泛化能力；
- 攻克超大模型训练梯度爆炸、损失震荡、欠拟合、能力偏科等技术难点，持续提升通识、数理、代码、逻辑基础能力。
3 预训练数据工程体系建设
- 协助统筹万亿级高质量预训练语料建设，负责数据来源、分布配比、去重、过滤、提纯、脱敏、分词体系搭建；
- 设计多领域、多语种、多知识层级的数据配比策略，优化高质量知识语料、专业语料、长文本语料占比；
- 建立数据质量评估、污染检测、异常识别机制，构建标准化、可迭代、可管控的预训练数据生产线。
4 算力及模型训练协同
- 联动算力工程、模型架构、后训练、多模态团队，完成分布式训练、显存优化、通信优化、算力调度协同；
- 参与制定训练集群运维规范、训练故障排查机制，保障大规模长时间稳定预训练。

1 基础资质
- 计算机、人工智能、数学、NLP、深度学习等相关专业，博士学历优先，顶尖名校硕士可破格；
- ，具备极强科研判断力，认同实验室长期主义基座研发理念。
2 工作经验
- 6年以上大模型预训练研发经验，2年以上算法团队管理经验；
- 完整主导过百亿/千亿参数稠密大模型预训练全流程，具备大规模算力集群量产训练经验；
- 有头部研究院、大厂基座大模型研发经验，熟悉国产算力集群训练流程优先。
3 专业能力
- 精通Transformer基座原理，熟练掌握预训练任务设计、训练超参调优、loss优化、训练稳定性控制；
- 精通大规模文本数据处理流程，熟悉数据去重、质量过滤、毒性检测、领域配比、语料提纯；
- 熟练掌握Megatron-LM、DeepSpeed等分布式训练框架，精通张量并行、流水线并行、MoE并行技术；
- 具备模型训练故障归因、损失分析、收敛调优实战能力，深刻理解大模型涌现能力与缩放定律。
4 综合素质
- 具备基座模型顶层设计能力，能够独立制定中长期预训练技术路线；
- 抗压能力强，擅长大规模研发团队统筹、跨部门协同、算力资源调度；
- 在ICML、NeurIPS、EMNLP等顶会发表预训练、大模型相关论文/专利优先。
5. 优先条件
- 主导过百亿至千亿级基座大模型完整预训练、冻结、版本迭代、开源发布；
- 在大规模数据工程、并行训练、训练稳定性、稀疏模型任一方向有行业标杆成果；
- 具备主流基座模型深度训练优化经验。