投递大模型或Agent评测工程师,简历应让招聘方看清:你把什么能力变成了可重复的任务,怎样判断结果,如何发现评分失真,以及评测结论支持了什么改动。只写“调用多个模型进行测试”或“熟悉Benchmark”,还不能说明你设计过评测。先整理任务集、判定规则、执行记录、版本对照和失败分析,再把本人承担的部分写进项目。
本文提供岗位核对方法、一张材料对照表、一个自拟评测设计案例和两种项目写法。适合算法评测、Agent评测及从测试开发转向AI质量工程的候选人;示例和数字均用于解释方法,不是企业真题、真实履历或本站实测成绩。
先确认岗位方向,别把评测岗位当成统一门槛
截至2026年11月12日,上海人工智能实验室的大模型算法评测校招岗位强调面向真实场景建设基准、分析模型问题并支持迭代,覆盖文本、多模态和Agent。该页列有相关专业硕士及以上等条件,应逐项核对,不能因“了解大模型”就假设符合申请资格。
美团的大模型/Agent评测工程师岗位更突出研发场景任务、自动执行、轨迹分析和版本验收。页面顶部“工作经验”显示不限,但正文基本要求写有3年及以上相关工程经验;两处口径有差异,不能据顶部标签宣传为零经验岗位,申请前应向招聘方确认。本文只记录当前公开页面,不把页面更新时间当作今天新发布。
选择项目重点时,先圈出JD的工作对象:模型能力研究、业务应用质量,还是评测平台工程。研究方向要解释基准设计与分析;应用方向要解释实际任务是否完成;平台方向要解释任务怎样稳定运行、留痕与比较。一份具体JD的要求不能外推为全行业标准。
把“做过评测”拆成能展示的材料
下面是编辑整理经历的方法,不是企业公布的评分表。只保留实际做过的行;使用现成框架、改配置、开发评分器和设计任务集,是不同的贡献。
| 简历要证明什么 | 应能对应的材料与边界 |
|---|---|
| 评测目标与任务集 | 目标用户、任务分类、样本来源、划分依据及版本;说明没有覆盖的场景。 |
| 判定规则 | 成功条件、参考答案或检查程序、超时与无效样本规则;不能只给一个总分。 |
| 自动执行 | 环境准备、运行预算、输出与轨迹、失败状态;区分模型失败和环境故障。 |
| 评分可信性 | 人工复核、规则反例或裁判一致性检查;说明哪些情况仍需人工判断。 |
| 版本比较 | 固定任务与预算下的逐例结果、模型和配置版本、同时发生的其他改动。 |
| 失败分析与回归 | 一条可复现失败、原因证据、修复建议与回归用例;区分建议和已验证改进。 |
工具名放在材料后面。例如,OpenCompass官方项目提供从配置、推理到评估与汇总的工作流;运行现有配置可以写成评测复现,新增数据适配或评价方法才对应新的开发贡献。AgentBench官方仓库同时保留不同版本说明,记录使用的版本与任务环境,比只写名称更容易复核。
一个可交付的案例:怎样评测代码修改Agent
以下为自拟设计案例,本文没有执行这些实验。假设练习对象是修改本地CSV汇总脚本的Agent,需求是修复重复行导致的统计错误。先保存起始代码、输入文件和预期结果;将“完成了代码修改”与“结果正确、没有破坏其他行为”分开判断。任务只在隔离练习仓库执行,不接触真实业务数据。
可以为每个样本记录任务ID、需求、初始版本、输入、预期输出、允许修改范围及预算。判定应检查最终文件和程序行为,而不是只看Agent回复“已完成”。例如原需求要求去重后汇总,评分器既检查重复输入的结果,也检查不重复输入与空输入的行为;若Agent通过改测试的预期值让测试变绿,不能据此判任务成功。
样本应覆盖不同失误,而不是复制同一道题换文件名。可以分别准备重复记录、缺少必需列、空文件和相同字段不同含义的情况;每类的合理处理先写清楚。某些任务可能允许明确报错而不生成汇总,不能统一按“产生了输出文件”计成功。这些规则来自练习需求,不是任何公开Benchmark的官方评分实现。
保留一份开发集合用于调试评分器,再保留未用于反复选方案的检查集合。若样本共享近似代码或同一错误模板,要说明可能的相似性,不能只按文件名随机划分后就断言没有泄漏。个人练习规模有限时,写清样本范围即可,不必包装成能代表所有代码任务的行业基准。
成功率、成本和裁判分数,怎样写才可核对
先定义分母。任务成功率可按符合预先成功判据的任务数除以应评测任务总数计算;超时、工具失败或未完成,不应在看完结果后悄悄剔除。环境无法启动、损坏样本等情况若允许排除,应事先规定,另列数量与原因,并保留原始运行记录。
演示:若同一组20个有效练习任务中,版本A完成12个,版本B完成15个,则该组观察成功率为60%与75%,相差15个百分点。它不是“提高15%”,也不足以证明总体能力稳定提升。两组还须核对模型、任务、工具权限、最大步数、重试次数和时间预算;若B多获得了尝试机会,不能只将差异归给某个提示词改动。这里的数值是算术演示,不得复制成个人成果。
同时保存逐例对照:哪些任务由失败变成功,哪些原本成功却退化。成本应说明计量的是调用次数、Token、资源还是金额;时延应说明是单次调用还是整项任务,以及是否包含重试和排队。只展示平均分,容易掩盖少数任务反复失败或耗时过长。
采用LLM裁判时,记录裁判模型版本、评分提示、量表和输入内容,并抽样人工复核。检查它是否偏爱更长的回答、是否忽略错误事实,以及同一材料重复评分是否变化。规则或程序能够直接检查的结果,优先保留可核对断言;裁判评分与人工意见不一致时,保留分歧及处理依据,不能用模型自评高分单独证明任务已完成。
用一条Bad Case证明分析能力
先描述观察,再讨论原因。比如脚本输出数值错误,可能来自需求理解、读取了错误列、代码修改遗漏,也可能是评测器本身取错文件。先保留输入、动作轨迹、工具返回和最终文件,再用证据缩小问题范围;不要看到答案错就统一归为“模型幻觉”。
一份简短复盘应包含:预期行为、实际行为、定位证据、原因假设、处理及复测。若只提出“补充边界用例”的建议,就写提出建议;真正修改后在固定集合复测,才写完成修复验证。新发现的案例可以加入回归集,但不能把已经反复调试过的同一批案例继续冒充独立测试。
若问题来自评分器,把修正前后的规则版本和受影响样本保留下来。更新评分规则后重新比较两个系统,不能拿旧规则下的A与新规则下的B直接比较。发现原来的高分不能复现,也是一项有价值的质量发现,无需将每次分析都写成模型能力提升。
测试开发转岗与仅做开源复现,分别怎样写
下面两段是写法骨架,不是实际候选人的履历;每个动作都要有本人事实才能保留。从测试开发转岗,可以突出任务执行、检查程序、失败归类与回归管理,不需要把自己改称算法研究者。
写法一:“在本地代码修改Agent练习中负责任务执行与结果检查,保存代码、输入和评分规则版本,区分环境异常、执行超时及结果错误;按逐例差异整理回归用例。模型与基础框架采用现成实现,本人未参与模型训练,结论限于当前练习集合。”没有实现自动运行时,就缩小为手工复测和已完成的检查脚本。
仅做过开源复现,可以写明基准版本、接入对象、本人改动与结果限制。写法二:“复现指定版本的公开评测流程,负责模型接口适配、运行记录整理和失败样本复核,提供环境说明与复现步骤;任务与原评分方法来自开源项目,本人没有提出新基准,未验证生产场景效果。”没有跑完就写已完成阶段和未完成项,不预填榜单成绩。
如果确实建设了数据集或评分方法,再解释新增部分与原方法的差别,并准备标注规则、质量检查及复核材料。工程评测、模型训练是相互关联但不同的经历,可进一步参考Harness与Agentic RL的工程和训练证据边界;基础应用项目的写法可看智能体开发项目怎样证明任务与工具能力。
投递前,准备一份能复核的小附件
- 一页项目说明:任务对象、运行环境、本人模块,以及未完成的部分。
- 任务和规则说明:数据来源、适用范围、划分、成功条件与异常处理,不披露未获授权的数据。
- 复现入口:固定代码与配置版本、脱敏输入样例、运行步骤和结果文件对应关系。
- 一份逐例对照和一条失败复盘:能从简历表述追溯到记录,解释评分变化与限制。
- 申请条件核对:学历、研究或工程要求、岗位开放状态,以当前官方说明为准。
简历主文保留最相关的两三条个人行动,附件展开方法。整理好真实项目与目标JD后,可以在AI简历姬继续完善表达;生成的数量、提升比例和研究贡献仍须本人核对,工具改写不能代替实际评测。
本文由AI简历姬编辑团队整理,职位及技术来源核验于2026年11月12日。对照表、案例和写法均为编辑建议,未试投、未访问企业内部评分体系,也没有岗位总量、搜索量或录用效果结论。官方页面可能调整,申请前请再次核对。