智能体评测算法工程师

1. 评测框架与平台开发：构建以模型、Harness为评测对象，以办公通用领域为核心内容的的评测能力，实现对 ” 任务 X 模型 X Harness “ 多维度组合的评测，建设使用门槛低、效率高、自动化、可信赖的评测框架与平台；
2. 评测方法建设：能够快速跑通、复现开源Benchmark；协同领域专家、产品经理共同构建符合业务属性的评测方法，包含自建Benchmark，探索新的评估范式以解决静态评估及榜单的弊端；
3. 评测结果分析：对评测结果进行深入分析，形成评测报告，为模型、Agent研发迭代提供参考。Agent评测，对工具调用、工具轨迹、权限、状态变化、消耗资源、Agent产物等全链路评测结果进行真实性反馈，形成Agent迭代优化的依据；
4. AI研发体系建设：协同模型研发、Agent研发、业务服务等多个研发团队，建设起闭环研发质量体系，不断提升模型与Agent表现。

1. 计算机相关专业，本科及以上学历，5年以上相关工作经验；具备Python/Java/Go至少一种语言的开发能力，熟悉JSON、YAML等数据格式，熟悉Linux开发环境，能够使用Shell脚本进行自动化任务；
2. 熟悉Agent的评估指标，不仅限于文本生成质量，还包括规划能力、工具调用成功率等维度；有LLM 应用、AI Agent的AI原生产品研发经验加分；
3. 紧跟业界前沿趋势，高效率的论文、技术报告的阅读能力；动手能力强，能够快速复现开源项目；
4. 积极主动，对AI有激情，具备较强的团队协作能力、组织协调能力、复杂问题解决能力。

加分项：
1. 有Agent 开源框架（LangChain/Hermes/OpenClaw 等）测评经验；
2. 有企业 IM 平台（飞书/钉钉/企微）开放平台集成与机器人开发经验。