评测算法工程师

1. 负责模型评测平台的评测任务执行设计、开发与持续优化，包括模型接入、数据集接入、推理执行、指标计算、结果分析和报告生成等模块；
2. 建设稳定、高效、可扩展的评测基础设施，支持开源模型、内部模型及主流模型 API 的统一评测；
3. 将大模型评测相关的算法研究成果工程化落地，包括新评测方法、新指标、自动化评测、主观评测及模型裁判等能力；
4. 负责各类大语言模型及多模态模型的评测任务，完成评测方案设计、任务配置、资源调度、结果校验和分析报告输出；
5. 优化大规模评测任务的执行效率与稳定性，解决分布式推理、并发调用、显存管理、任务容错和结果复现等工程问题；
6. 建设评测数据、配置、实验结果和模型版本的管理机制，保证评测过程可追踪、可复现、可对比；
7. 参与评测基准和数据集建设，包括数据清洗、质量检查、污染检测、样本分析及评测指标设计；
8. 与算法研究、模型训练及产品团队紧密协作，根据模型迭代需求设计评测方案，为模型能力分析提供依据；
9. 跟踪国内外大模型评测技术的发展，推动优秀评测方法和工程实践在司南OpenCompass评测平台中落地。

1. 计算机、人工智能、软件工程或相关专业本科及以上学历；
2. 熟练掌握 Python，具备良好的代码设计、调试和工程实现能力，熟悉常用的软件工程实践；
3. 并对大模型的基本原理、推理流程及常见模型架构有一定理解；
4. 熟悉vLLM、LMDeploy、SGLang 等至少一种模型推理或部署框架；
5. 了解大模型常见评测任务和指标，例如知识问答、推理、代码生成、数学、长文本、指令遵循、安全性以及主观评价等；
6. 具备较强的问题定位能力，能够独立处理模型加载、推理异常、显存不足、数据格式、并发调用和结果不一致等问题；
7. 具备大模型评测算法和前沿技术的复现能力，能够阅读相关论文及技术报告，准确理解算法原理，独立完成代码实现、实验验证、结果对齐，并将研究原型转化为可维护、可复用的工程模块。