【校招】文档与 PDF 预训练数据研究工程师-大模型中心
大模型中心|正式|算法类|上海
2026-09-22
岗位职责
1.负责 PDF 及复杂文档预训练数据的质量研究、数据方案实现和版本化交付;
2.基于现有 PDF pipeline,研究解析质量、文档结构恢复和内容筛选策略对模型预训练效果的影响;
3.建设 PDF 和文档质量评价体系,包括 OCR 和文本抽取质量评估、阅读顺序恢复、页眉页脚/目录/引用清理、表格/公式/代码块识别、文档完整性/知识密度/专业性评分等;
4.对解析失败或被过滤的文档进行分类,研究通过重新解析、版面恢复、段落重组、内容修复或模型重写等方式恢复数据价值;
5.重点建设高质量 STEM、数学、教材、论文、技术报告及专业知识数据;
6.设计 PDF 数据与网页数据之间的去重、互补性分析和采样策略;
7.设计并执行数据消融和 proxy training 实验,评估 PDF 数据对 Knowledge、STEM、Math、Reasoning 及 Multilingual 能力的贡献。
2.基于现有 PDF pipeline,研究解析质量、文档结构恢复和内容筛选策略对模型预训练效果的影响;
3.建设 PDF 和文档质量评价体系,包括 OCR 和文本抽取质量评估、阅读顺序恢复、页眉页脚/目录/引用清理、表格/公式/代码块识别、文档完整性/知识密度/专业性评分等;
4.对解析失败或被过滤的文档进行分类,研究通过重新解析、版面恢复、段落重组、内容修复或模型重写等方式恢复数据价值;
5.重点建设高质量 STEM、数学、教材、论文、技术报告及专业知识数据;
6.设计 PDF 数据与网页数据之间的去重、互补性分析和采样策略;
7.设计并执行数据消融和 proxy training 实验,评估 PDF 数据对 Knowledge、STEM、Math、Reasoning 及 Multilingual 能力的贡献。
岗位要求
1.计算机科学、人工智能、自然语言处理、数据科学等相关专业硕士及以上学历;
2.熟悉 PDF 和复杂文档常见问题,包括多栏布局、扫描件、公式、表格、乱码和阅读顺序错误;
3.能够结合规则、模型和统计方法建立文档质量评价和修复流程;
4.熟练使用 Python,能够独立完成数据分析、实验实现和数据版本交付;
加分项:具有图书、教材、论文、专利或技术文档处理经验;熟悉数学公式、表格或科学文献解析;具有多语言 OCR 或低资源语言文档经验;做过文档修复、结构化抽取或多模态文档理解。
2.熟悉 PDF 和复杂文档常见问题,包括多栏布局、扫描件、公式、表格、乱码和阅读顺序错误;
3.能够结合规则、模型和统计方法建立文档质量评价和修复流程;
4.熟练使用 Python,能够独立完成数据分析、实验实现和数据版本交付;
加分项:具有图书、教材、论文、专利或技术文档处理经验;熟悉数学公式、表格或科学文献解析;具有多语言 OCR 或低资源语言文档经验;做过文档修复、结构化抽取或多模态文档理解。


