岗位百科 · 技术研发
大模型推理优化工程师分析线上模型的计算、显存和调度瓶颈，优化延迟、吞吐及资源效率，并验证服务稳定性。
免费分析 · 无需信用卡 · 结果可继续编辑
大模型推理优化工程师分析线上模型的计算、显存和调度瓶颈，优化延迟、吞吐及资源效率，并验证服务稳定性。
属于技术研发方向，主要分布在IT互联网。
继续查看日常工作、技能树、发展路径和面试题，再用目标 JD 检查简历关键词。
大模型推理优化工程师是优化大模型线上推理的运行效率，在给定硬件和服务要求下改善延迟、吞吐、资源占用及稳定性。工作需要理解模型执行、请求调度和硬件瓶颈，使用可复现的测量解释优化收益。
长输入、长输出和突发流量会产生不同的资源压力，离线单请求速度并不等于线上服务体验。
工程师需要分析实际请求分布、批处理和缓存行为，并同时核对生成质量是否受到影响。
推理优化与模型预训练、一般应用接口开发以及底层算子开发存在协作，但责任范围不同。有些岗位主要调整服务策略，有些需要深入推理引擎和多卡执行，应仔细查看岗位要求。
优化的对象可能是某种模型的一条服务路径，也可能是支持多模型的平台。工作要提前明确服务目标和资源约束，否则提升吞吐、降低延迟与节省显存之间的取舍无法得到一致评价。
大模型推理优化工程师的工作需要围绕明确的任务与可检查的结果展开。长输入、长输出和突发流量会产生不同的资源压力，离线单请求速度并不等于线上服务体验。工程师需要分析实际请求分布、批处理和缓存行为，并同时核对生成质量是否受到影响。
性能结论应包含模型、硬件、输入输出分布与配置，说明在哪些条件下成立。交付还应保留质量检查、资源监控和回退依据；只记录最优测试值，无法帮助运维判断实际负载变化。
大模型推理优化工程师的专业能力可以从以下三个方面准备。长输入、长输出和突发流量会产生不同的资源压力，离线单请求速度并不等于线上服务体验。工程师需要分析实际请求分布、批处理和缓存行为，并同时核对生成质量是否受到影响。
在工具使用上，性能剖析工具用于支持“建立有代表性的负载与性能基线”这一环节；推理引擎与服务框架需要结合“分析计算、显存、通信和调度开销”的要求使用；负载测试和监控平台帮助维护可核对的过程与结果。
应优先学会解释工具输出和识别异常，再根据目标团队采用的具体产品补齐操作。
岗位可能在模型服务商、应用平台或硬件生态团队中。服务商往往关心多种负载，业务团队更关注特定模型和用户体验，硬件团队则可能深入设备性能。应核对负责推理引擎、系统调度还是性能测试，以及是否能接触真实请求分布。
可以从建立性能基线、定位瓶颈和复现实验起步，逐步深入并行策略、缓存管理或引擎实现。向平台架构发展需要理解容量、稳定性和多租户隔离，向底层优化发展需要加强硬件与编译知识。不同方向都不能只依赖某个框架的配置经验。
模型规模、输入输出长度和流量模式不断变化，单个基准结果很容易失效。可迁移能力是测量、分析和验证方法，以及清楚解释收益的适用条件。优化还要考虑质量和可靠性，不能只展示峰值吞吐；对尾部延迟和异常负载的处理同样重要。
可以向推理平台、机器学习系统或AI基础设施架构发展。可迁移能力是准确识别瓶颈、设计公平比较并处理生产约束；某次特定显卡上的测试结果不能直接推广到所有模型和业务负载。
情景题：离线吞吐提高但线上尾部延迟恶化，你怎样检查请求分布、批处理等待和资源争用？
分析要点：先确保离线和线上负载可比，拆分排队、预填充和生成阶段时间，检查批处理是否让短请求等待过久。
再观察缓存、显存和多请求争用，按同一服务目标比较方案。可能需要改变调度而非继续提高批量，结果也要覆盖突发与长请求场景。
说明使用了什么证据，哪些结论被验证，以及仍有哪些限制。
解释你如何排除工具或配置问题，而不是只描述最终结果。
作品或简历可以围绕“将有效方案整合到服务环境”展示交付能力。应说明本人负责的部分，隐去敏感数据，并如实区分学习项目和生产经验。
优化大模型线上推理的运行效率，在给定硬件和服务要求下改善延迟、吞吐、资源占用及稳定性。工作需要理解模型执行、请求调度和硬件瓶颈，使用可复现的测量解释优化收益。
主要工作包括建立有代表性的负载与性能基线；分析计算、显存、通信和调度开销；评估批处理、缓存、量化或并行策略；将有效方案整合到服务环境。具体分工以单位的岗位说明为准。
推理优化与模型预训练、一般应用接口开发以及底层算子开发存在协作，但责任范围不同。有些岗位主要调整服务策略，有些需要深入推理引擎和多卡执行，应仔细查看岗位要求。
重点准备计算机体系结构、深度学习推理机制、性能测量与并发系统，并用具体项目说明如何使用性能剖析工具解决问题。学历、经验及任职条件需结合具体招聘要求确认。
写清任务背景、本人负责的环节、采用的方法及验证结果。可以围绕“离线吞吐提高但线上尾部延迟恶化，你怎样检查请求分布、批处理等待和资源争用？”这一类问题展示分析能力，真实说明项目规模和限制，不把团队成果全部算作个人业绩。
知道岗位做什么，和让 HR 从你的简历里看出你能做，是两件事。简历里的经历要按这个岗位的 JD（岗位要求）重新组织关键词，还得先过得了机器筛选。基础功能免费； 秋招冲刺包 ¥499：AI简历姬 1 年会员（简历诊断、JD 匹配优化、AI 模拟面试） + 1 次 1V1 深度语音求职指导 + 1 年微信答疑。
用于提升求职方向判断与准备效率，不承诺录用结果；不提供代投服务，不保证内推或 Offer。
内容说明：本页内容按公开资料整理并经人工复核，用于帮助了解岗位，不构成招聘承诺。薪资、行业数据只在能追溯到公开来源时展示，其余留空。具体岗位职责和要求，请以用人单位发布的招聘公告为准。
TEMPLATES