预训练工程师需要什么技能？技能树与学习顺序
这一页只讲预训练工程师要会什么：按入门、进阶、资深三个阶段拆开，硬技能、软技能、工具和证书分别标出来。
预训练工程师技能树（入门 → 进阶 → 资深）
-
阶段 1
入门必备
大致对应 0-12 个月经验- Transformer 与训练基础 结构、优化器、学习率调度、混合精度。
- PyTorch 熟练使用 能独立实现并调试训练流程。
- Linux 与集群操作 多机多卡环境的日常排障。
- 严谨性 一个配置错误可能浪费数周算力。
-
阶段 2
进阶
大致对应 12-36 个月经验- 分布式并行策略 数据/张量/流水线并行的配置与取舍。
- 大规模数据管线 TB 级语料的清洗、去重与质量过滤。
- 性能剖析与调优 定位通信、显存与计算利用率瓶颈。
- 缩放实验设计 用小模型实验回答大模型问题。
-
阶段 3
资深
大致对应 36+ 个月经验- 数据配方设计 不同来源语料的配比及其对能力的影响。
- 训练稳定性攻坚 loss 尖峰、数值溢出、故障续训的处理。
- 基座评测体系 建立能反映真实能力的内部评测。
- 技术决策 在高成本不可回头的训练前做出取舍。
预训练要求的是「深度学习功底 + 系统工程能力」的组合，两者缺一都撑不住一次真实的大规模训练。
硬技能
- 深度学习基础：Transformer 结构、优化器、学习率调度、混合精度训练。
- 分布式训练框架：数据 / 张量 / 流水线并行的原理与实际配置。
- 大规模数据处理：TB 级语料的清洗、去重与质量评估管线。
- 性能剖析：定位通信瓶颈、显存瓶颈、计算利用率问题。
- Linux 与集群操作：多机多卡环境的日常排障。
软技能与背景
- 实验设计能力：用小规模实验回答大规模问题，这是这个岗位的核心方法论。
- 严谨与耐心：一个配置错误可能浪费数周算力。
- 学历背景：多数招聘要求硕士及以上，并看重相关论文或训练经验，具体以招聘公告为准。
这些能力里最难速成的是实验设计。
大规模训练不允许反复试错，所有关键决策都必须先在小模型上得到验证，再外推到目标规模。能不能设计出一组既省算力又能回答问题的实验，是资深与新手最直接的分野。
下一步：把它变成一次有效投递
了解清楚之后，把简历按 预训练工程师 的岗位要求改一版，再去看哪些公司在招。
看懂这个岗位之后，下一个问题是「我的简历对得上吗」
知道岗位做什么，和让 HR 从你的简历里看出你能做，是两件事。简历里的经历要按这个岗位的 JD（岗位要求）重新组织关键词，还得先过得了机器筛选。基础功能免费； 秋招冲刺包 ¥499：AI简历姬 1 年会员（简历诊断、JD 匹配优化、AI 模拟面试） + 1 次 1V1 深度语音求职指导 + 1 年微信答疑。
用于提升求职方向判断与准备效率，不承诺录用结果；不提供代投服务，不保证内推或 Offer。
内容说明：本页内容按公开资料整理并经人工复核，用于帮助了解岗位，不构成招聘承诺。具体岗位职责和要求，请以用人单位发布的招聘公告为准。