上周面试了一个大模型算法岗的女生，有点崩溃。。。

节前，我们星球组织了一场算法岗技术&面试讨论会，邀请了一些互联网大厂朋友、参加社招和校招面试的同学，针对算法岗技术趋势、大模型落地项目经验分享、新手如何入门算法岗、该如何准备、面试常考点分享等热门话题进行了深入的讨论。

---

汇总合集：《大模型面试宝典》(2024版) 发布！

---

组内最近一直在招人，上周就面了一个做大模型的女生，让我很崩溃！

问的都是大模型和NLP的基础问题，回答的有点差强人意，只能说明一点准备都没做，比较有点无力感

今天分享一些大模型常考的面试题，大家一定要复习复习，免得现场尴尬。。。

喜欢本文记得收藏、点赞、关注，文末可以参与技术交流。

1. 为什么现在的大模型大多是decoder-only的架构？
2. 解释LLM中token的概念
3. 哪些因素会导致LLM中的偏见？
4. 如何减轻LLM中的“幻觉”现象
5. 解释ChatGPT的“零样本”和“少样本”学习的概念
6. 请画图说明一下Transformer基本流程
7. 为什么基于Transformer的架构需要多头注意力机制？
8. LLaMA模型为什么要用旋转位置编码？
9. 你训练的时候用float16，还是bfloat16，float32？为什么？
10. 怎么解决训练使用float16导致溢出的问题？
11. 预训练和微调任务有什么区别？两者的目的是什么?
12. LLaMA模型在训练过程中如何处理梯度消失和梯度爆炸问题?
13. LLaMA模型使用了哪种激活函数，为什么？,
14. 介绍下lora和q-lora？
15. 针对长序列，如何在Transformer中实现有效的位置编码？
16. 训练数据集的过滤和去重是如何操作的?详细讲解下这些步骤的重要性及其对模型性能的潜在影响?
17. 了解MOE吗?他的作用是什么?
18. 解释一下大模型的涌现能力？
19. 如何缓解大语言模型inference时候重复的问题?
20. 对LLMs进行数据预处理有哪些常见的做法？

技术交流群

前沿技术资讯、算法交流、求职内推、算法竞赛、面试交流(校招、社招、实习)等、与 10000+来自港科大、北大、清华、中科院、CMU、腾讯、百度等名校名企开发者互动交流~

我们建了算法岗技术与面试交流群， 想要获取最新面试题、了解最新面试动态的、需要源码&资料、提升技术的同学，可以直接加微信号：mlc2040。加的时候备注一下：研究方向 +学校/公司+CSDN，即可。然后就可以拉你进群了。

方式①、微信搜索公众号：机器学习社区，后台回复：加群
方式②、添加微信号：mlc2040，备注：技术交流

面试精选

• 一文搞懂 Transformer

• 一文搞懂 Attention（注意力）机制

• 一文搞懂 Self-Attention 和 Multi-Head Attention

• 一文搞懂 BERT（基于Transformer的双向编码器）

• 一文搞懂 GPT（Generative Pre-trained Transformer）

• 一文搞懂 Embedding（嵌入）

• 一文搞懂 Encoder-Decoder（编码器-解码器）

• 一文搞懂大模型的 Prompt Engineering（提示工程）

• 一文搞懂 Fine-tuning（大模型微调）

• 一文搞懂 LangChain

• 一文搞懂 LangChain 的 Retrieval 模块

• 一文搞懂 LangChain 的智能体 Agents 模块

• 一文搞懂 LangChain 的链 Chains 模块