大模型面试题:ZeRO-1、ZeRO-2、ZeRO-3分别优化了什么
### 先直接给结论 如果只说结论,AI大模型面试中关于 ZeRO(Zero Redundancy Optimizer)的考察,核心并不是让你默写论文中的内存公式,而是看你能否讲清楚“ZeRO 1、2、3 分别解决了什么、为什么这么设计、以...
汇总技术面试、HR面试、岗位专业题、行为题和大模型/RAG等专项面试题,帮助求职者按岗位建立复习框架
面试题页适合需要集中复习的人。题库的价值不在于背诵,而是帮助你发现知识盲区、熟悉追问方式,并把答案和自己的项目经历连接起来。
建议按岗位和面试轮次筛题:HR面关注稳定性和动机,业务面关注岗位理解,技术面关注原理和项目落地。每道题都准备一句话结论、关键论据和一个能展开的实际例子。
### 先直接给结论 如果只说结论,AI大模型面试中关于 ZeRO(Zero Redundancy Optimizer)的考察,核心并不是让你默写论文中的内存公式,而是看你能否讲清楚“ZeRO 1、2、3 分别解决了什么、为什么这么设计、以...
如果你想拿下一个大模型相关岗位的 offer,面试中出现“TP、Attention、FFN 切分”几乎是绕不开的必问题。简单说一下结论:TP(Tensor Parallelism,张量并行)是分布式训练中把模型参数切分到多个设备的核心技术,...
大模型并行训练面试题的核心在于理解不同并行策略的原理、适用场景与权衡——数据并行(DP)解决显存不足时的吞吐问题,张量并行(TP)切割单层计算,流水线并行(PP)切分层间计算,混合并行则组合三者。面试官考察的不是你背了多少术语,而是能否讲清...
如果你正在准备大模型岗位面试,遇到“训练过程中Loss突然变成NaN”这类问题时,最稳妥的回答思路是:**先定性(NaN属于数值不稳定问题),再定位(从梯度爆炸、学习率、数据、模型结构四个维度排查),最后给出具体诊断步骤和预防方案。** 对...
如果你在准备AI大模型相关岗位的面试,混合精度训练几乎是一道必答题。面试官通常会从原理、数值格式区别、实现方式、实际效果等角度层层追问。直接回答:混合精度训练的核心是用FP16或BF16替代FP32进行前向和反向计算,同时保持FP32主权重...
如果你正在准备大模型岗位面试,最常遇到的一类技术问题就是关于语言模型的**目标函数**和**最大似然估计(MLE)**。这篇文章会直接告诉你:面试官到底想考什么、怎么答才能得分、以及如何系统复习这一块内容。全文覆盖概念拆解、常见误区、对比分...
如果你正在寻找工作,并准备使用AI大模型驱动的面试工具,一个很现实的问题已经开始浮现:**我的隐私信息会不会被滥用?我的回答是否会被记住并用于训练?** 直接说结论:AI大模型面试的核心风险不在于题目本身,而在于**你无法完全控制自己的数据...
如果只说一个结论,**多语言预训练的数据配比面试题,考察的并不是你背下某个固定比例,而是你是否理解“为何需要配比”以及“如何动态调整”**。对求职大模型岗位的同学来说,先把原理和权衡逻辑理顺,再准备好一个自己经历中的实际案例,通常就比单纯罗...
如果你正在准备AI大模型岗位的面试,**分词算法(Tokenization)几乎是必考题**,尤其是BPE、WordPiece、Unigram这三类子词分词方法。直接说结论:面试官问这些,表面是考你对分词原理的记忆,实际是考察你对**模型如...
面试中遇到“数据去重”相关题目时,很多候选人第一反应是背出MinHash和SimHash的定义。但面试官真正想考察的,往往是你能不能讲清楚两者分别适合什么场景、为什么大模型训练数据必须去重、以及如何在工程中落地。如果你正处在AI大模型岗位的...
```markdown 如果只说结论,AI大模型面试题中关于预训练数据清洗Pipeline的考察,核心不是你背了多少清洗工具,而是你能否讲清楚 **数据质量如何影响模型效果**,以及你是否有工程化落地的思维能力。对于准备大模型岗位面试的求职...
如果你正在准备大模型相关岗位的面试,大概率会遇到这类问题:**词表大小对推理速度有什么影响?** 面试官问这个问题,并不是真的让你背一个公式,而是想观察你对大模型工程落地的理解深度。**简单来说:词表越大,单步推理的计算量和显存占用都会上升...
围绕 面试题怎么准备?高频题库 继续看相关文章、简历模板和范文示例,方便顺着同一主题继续往下找。