岗位职责：
1. 参与大模型预训练数据相关的提取、清洗工具和模型开发
2. 利用自研、开源数据提取工具提取和加工PB级数据集
3. 不断提升流水线自动化、标准化、可观测性水平

岗位要求：
1. 强烈的责任心和自驱力，具有完美主义情节
2. 计算机及相关专业统招本科及以上学历，工作经验3年及以上
3. 熟练使用shell、python、spark，思维严密，注重质量
4. 如有优秀个人软件作品可放宽工作年限