大模型面试八股文 · 目录¶
这是本笔记的入口目录，点击下方链接进入对应分类。
根目录文档¶
AI Agent精选八股文¶
- AI前沿技术与概念
- AI Agent 记忆系统的四层架构各层的职责与存储介质是什么？
- Agent 的长期记忆如何设计？向量库和 KV 存储如何配合？
- 在一个客服 Agent 中，用户第 50 次对话时提到了第 3 次对话的偏好，Agent 该如何_记得_？
- 如何在有限 Token 下保留关键信息？
- 如何设计一个高效的对话记忆管理系统？
- 有哪种记忆，对应到 AI Agent 中分别是什么？
- Agent Skill 和普通函数有什么区别？
- Agent 框架中通常如何实现 Skill 的注册与发现机制？
- Agent 调用 Skill 时，如何防止 Skill 中的 prompt injection 攻击？
- Skill 如何共享 Agent 的上下文（Context）？上下文的数据结构一般如何设计？
- Skill 执行出错时，错误信息如何暴露？既要方便调试，又不能泄露系统内部敏感信息。
- Skill 执行完毕后，它的状态和中间结果如何持久化？什么情况下需要持久化，什么情况下不需要？
- Skill 的典型生命周期是怎样的？从注册、触发到销毁会经历哪些阶段？
- Skill 的执行结果如何反馈给 Agent，用于后续的自我改进或反思？
- Skill 的版本管理如何设计？当多个版本的同一 Skill 并存时，Agent 如何选择？
- Skill 编排时如何做超时控制和熔断？如果一个 Skill 长时间无响应，整体流程如何处理？
- 一个 Skill 请求调用敏感操作（如转账），设计一套安全的确认与审计机制。
- 举例说明，一个“发送邮件”的 Skill 应该包含哪些必要字段和约束？
- 什么是 Agent 中的 Skill？它和传统意义上的 API 或函数调用有什么本质区别？
- 你有多个 Skill 提供相似功能时，Agent 如何根据用户意图进行自动路由和选择？
- 多个 Skill 并发执行时，如何避免上下文数据竞争或不一致？
- 如何在运行时动态加载和卸载 Skill，而不中断 Agent 主进程？
- 如何处理 Skill 之间的依赖关系？比如 Skill A 的输出是 Skill B 的输入。
- 如何对 Skill 进行 A_B 测试？在 Agent 场景下与传统 Web 服务的 A_B 测试有何不同？
- 如何设计一个 Skill 市场或仓库，让第三方开发者可以提交和发布 Skill？
- 如何设计一个 Skill 的描述_元信息结构，使 Agent 能够自动理解和选用合适的 Skill？
- 如何评估一个 Skill 的质量？有哪些可量化的指标？
- 如何限制一个 Skill 的执行权限？比如禁止访问文件系统或网络。
- 如果 Skill 执行过程中需要用户确认或补充信息，如何设计 Skill 的断点续执行机制？
- 实际落地中，你遇到过 Skill 设计的哪些反模式？如何避免？
- 当 Agent 在长对话中使用了大量 Skill，上下文窗口超出 LLM 限制时，如何处理 Skill 产生的历史信息？
- 当 Agent 错误地选择了一个不合适的 Skill 导致任务失败，如何通过 feedback loop 优化 Skill 选择策略？
- 当一个复杂任务需要多个 Skill 协作完成时，编排逻辑应该放在哪里？Agent 核心还是 Skill 内部？
- 当你允许第三方 Skill 在你的 Agent 中运行时，需要做哪些安全隔离？
- 用户在同一次对话中多次调用同一个 Skill，Skill 内部如何维护会话级别的状态？
- 能否举一个实际场景，说明如何使用 DAG（有向无环图）来编排多个 Skill 的执行？
- 工具设计与实现
- A2A 协议
- Agent 核心概念
- LLM 应用开发
- MCP 定义与设计
- Agent 调试工具
- AutoGen
- CrewAI
- LangChain
- LangGraph
- SpringAI
- 主流 AI 框架对比与选型
- Multi-Agent 协作
- 系统设计
- Agent 观测体系
- Agent 评估体系
- 工程实践与可观测性
- 多 Agent 可观测性与调试
- 部署和成本控制
- Agent面试题精选
- Elasticsearch 搜索
- MongoDB
- Redis
- 分布式数据库与一致性
- 消息队列与数据库协同
- 缓存设计与策略
- 分布式系统与一致性
- 消息队列与分布式中间件
- 消息队列与数据库协同
- 消息队列原理与选型
- RAG 实践
- RAG 技术
- Mybatis 持久层框架
- Spring Cloud 微服务生态
- Spring MVC 与 WebFlux
- Spring 原理与实践
- SpringBoot 原理与实践
- Doing
- Prompt 设计
- 大模型基础
- 推理优化
- Arrays.sort是使用什么排序算法实现的？
- BigDecimal(double)和BigDecimal(String)有什么区别？
- BigDecimal和Long表示金额哪个更合适，怎么选择？ (1)
- BigDecimal和Long表示金额哪个更合适，怎么选择？
- Integer a=1000，Integer b=1000，==是什么结果，如果是100呢？
- JDK 9中对字符串的拼接做了什么优化？
- JDK新版本中都有哪些新特性？
- Java中Timer实现定时调度的原理是什么？
- Java中创建对象有哪些种方式
- Java中异常分哪两类，有什么区别？
- Java中有了基本类型为什么还需要包装类？
- Java中的static都能用来修饰什么？ (1)
- Java中的static都能用来修饰什么？
- Java和C++主要区别有哪些？各有哪些优缺点？
- Java序列化的原理是啥
- Java是值传递还是引用传递？
- Java有协程吗？ (1)
- Java有协程吗？
- Java注解的作用是啥
- Java的动态代理如何实现？
- Lambda表达式是如何实现的？
- RPC接口返回中，使用基本类型还是包装类？
- SimpleDateFormat是线程安全的吗？使用时应该注意什么？
- Stream的并行流一定比串行流更快吗
- Stream的并行流一定比串行流更快吗？
- String a = ab; String b = a + b; a == b 吗？
- String str=new String(hollis)创建了几个对象？
- String、StringBuilder和StringBuffer的区别？
- String中intern的原理是什么？
- String为什么设计成不可变的？
- String是如何实现不可变的？
- String有长度限制吗？是多少？
- char能存储中文吗？
- finally中代码一定会执行吗？
- final、finally、finalize有什么区别
- serialVersionUID 有何用途_ 如果没定义会有什么问题？
- try中return A，catch中return B，finally中return C，最终返回值是什么？
- while(true)和for(;;)哪个性能好？
- 为什么JDK 9中把String的char[]改成了byte[]？ (1)
- 为什么JDK 9中把String的char[]改成了byte[]？
- 为什么Java不支持多继承？
- 为什么Java中的main方法必须是public static void的？ (1)
- 为什么Java中的main方法必须是public static void的？
- 为什么不建议使用异常控制业务流程 (1)
- 为什么不建议使用异常控制业务流程
- 为什么不能用BigDecimal的equals方法做等值比较？
- 为什么不能用浮点数表示金额？
- 为什么对Java中的负数取绝对值结果不一定是正数？
- 为什么建议多用组合少用继承？
- 为什么建议自定义一个无参构造函数
- 为什么这段代码在JDK不同版本中结果不同
- 什么是AIO、BIO和NIO？
- 什么是SPI，和API有啥区别
- 什么是UUID，能保证唯一吗？
- 什么是反射机制？为什么反射慢？
- 什么是序列化与反序列化
- 什么是泛型？有什么好处？
- 什么是深拷贝和浅拷贝？
- 什么是类型擦除？
- 你知道fastjson的反序列化漏洞吗
- 反射与封装是否矛盾？如何解决反射破坏封装不安全的问题？ (1)
- 反射与封装是否矛盾？如何解决反射破坏封装不安全的问题？
- 如何理解Java中的多态？
- 如何理解面向对象和面向过程？
- 字符串常量是什么时候进入到字符串常量池的？
- 常见的字符编码有哪些？有什么区别？
- 怎么修改一个类中的private修饰的String参数的值 (1)
- 怎么修改一个类中的private修饰的String参数的值
- 接口和抽象类的区别，如何选择？
- 有了equals为啥需要hashCode方法？ (1)
- 有了equals为啥需要hashCode方法？
- 泛型中K T V E ？ Object等分别代表什么含义。
- 泛型中上下界限定符extends 和 super有什么区别？
- 说几个常见的语法糖？
- @dataclass 自动生成了哪些方法？
- Agent 在处理 LLM 流式响应时，应该用什么方式逐 token 处理输出？
- Agent 工具注册表用 list 存还是 dict 存，有什么区别？
- Agent 并发调用多个 LLM 时，如何正确处理超时和取消？
- Agent 并发调用多个工具，有的工具响应快有的慢，如何让用户尽早看到可用结果？
- Agent 服务上线后内存持续增长，没有明显的代码 bug，如何排查？
- Agent 服务跑了一段时间后内存持续增长，你怎么排查和解决？
- Agent 框架冷启动慢，怀疑是 torch、sentence-transformers 导入耗时，怎么优化？
- Agent 框架里 LLM 客户端适合用单例吗？有什么替代方案？
- Agent 消息对象用了 slots 之后，发现子类继承它时内存优化失效，怎么排查和修复？
- Agent 系统中每次 LLM 调用都创建一个记录对象，如何优化这类高频小对象的内存占用？
- Agent 系统里有多个模块都需要访问 LLM 客户端（如 openai.AsyncOpenAI），如何设计才能避免重复创建连接池，同时保证可测试性？
- Agent 调用外部工具时，如何区分_应该重试_和_不应该重试_的错误？
- Agent 调用搜索工具超时后，责任链的重试 Handler 用指数退避，但如果 LLM 的 context window 快满了，等待重试会浪费 token 预算，怎么设计？
- Agent 配置接口里，用户传 memory_limit=None 表示_不限制内存_，不传则表示_用平台默认值_，这两种语义怎么区分？
- Agent 需要同时处理用户实时请求（高优先级）和后台批量任务（低优先级），如何设计任务调度？
- LLM 返回的 JSON 解析失败了，你会怎么处理？
- LangGraph 并行节点执行时，浅合并会导致什么问题，如何用 Annotated + reducer 正确解决？
- Protocol 和 ABC 在定义接口时有什么本质区别？
- Python import 时会重复执行模块代码吗？
- Python 上下文管理器是什么，with 语句是怎么工作的？
- Python 函数默认参数在什么时候求值？
- Python 多继承的 MRO C3 算法原理是什么，super() 在多继承中如何工作？
- Python 多重继承时，方法查找按什么顺序进行？
- Python 字典底层哈希表的实现原理是什么？
- Python 字典的时间复杂度是多少？
- Python 异常类怎么自定义，什么时候该用自定义异常？
- Python 描述符协议是什么？
- Python 描述符是什么？
- Python 普通实例为什么会有额外的内存开销？
- Python 深拷贝和浅拷贝有什么区别？
- Python 的 GIL 是什么，它对多线程有什么影响？
- Python 的 MRO 是什么，怎么查看一个类的 MRO？
- Python 的元类是什么？
- async def 和普通函数有什么本质区别？
- asyncio.Queue 是什么，和普通 queue.Queue 有什么区别？
- asyncio.Semaphore 是什么，怎么用？
- asyncio.gather 和 asyncio.as_completed 分别是什么？
- await 关键字是如何在协程链上传播控制权的？
- cProfile、line_profiler、memory_profiler 分别用来解决什么问题？
- contextvars.ContextVar 解决了什么问题？
- dataclass 与 slots 如何配合优化 Agent 数据模型，以及和 Pydantic 的选型策略？
- dataclass 和 Pydantic BaseModel 的核心区别是什么？
- functools 的 lru_cache、partial、reduce 在 Agent 中如何应用，各自有什么限制？
- getattr 什么时候会被调用？
- getattr 和 getattribute 的本质区别是什么？
- lru_cache 的参数有什么要求？
- new 和 init 分别负责什么？
- threading.Event、Lock、Queue 分别解决什么问题？
- try_except_else_finally 四个子句分别在什么时候执行？
- 一个 Multi-Agent 系统需要并发调用 10 个子 Agent，每个 Agent 内部又会调用 LLM，如何设计并发控制策略避免触发 OpenAI Rate Limit？
- 为什么要用 functools.wraps？
- 什么时候用 Protocol，什么时候用 ABC？
- 什么是单例模式，Python 里最简单的单例实现是什么？
- 列表推导式和生成器表达式有什么区别？
- 在 Agent 批量调用 LLM 时，Semaphore 满了任务会怎样？如何避免因退避重试导致槽位被长期占用？
- 在 Agent 流式输出场景中，如果用户中途关闭了浏览器，服务端应该如何感知并停止 LLM 调用，避免产生不必要的 Token 费用？
- 在 Agent 系统中，如何用 Python 实现线程安全的单例模式来管理全局配置？请对比不同实现方式的优缺点。
- 在 LLM 场景中，为什么要用指数退避而不是固定间隔重试？如果多个 Agent 实例同时触发重试，会出现什么问题，怎么解决？
- 在 LLM 应用开发中，如何利用 Pydantic 实现 LLM 结构化输出，并自动生成 Tool Schema？
- 在 LangChain 的 BaseModel 配置类中，为什么可以直接用 Field() 做类型校验，而不需要手写描述符？
- 在 LangChain 自定义 Tool 中，如果不用 Pydantic 定义参数 Schema 会怎样？
- 在 LangChain 这类 Agent 框架中，新增一种 Tool 类型时需要手动到处注册，有没有更优雅的方案？
- 在 LangChain 里不加 @functools.wraps 会怎样？
- 在 LangGraph 中，如果 Agent State 里有一个记录_已访问 URL_的集合，并行节点各自爬取不同的页面，怎么设计这个字段才不会出问题？
- 在 LangGraph 多步骤 Agent 中，如何用 ContextVar 实现全链路 trace_id 透传，而不污染 AgentState？
- 在 LangGraph 节点接口设计中，应该用 Protocol 还是 ABC 来约束节点实现？
- 在 RAG 管道中，需要同时处理文档解析、Embedding 计算和向量存储写入三个步骤，如何设计并发架构最大化吞吐量？
- 在 RAG 系统中，对 Embedding 函数加 lru_cache 时踩过哪些坑？
- 在基于线程的多 Agent 系统中，如何用 threading.Event、Lock、Queue 实现 Supervisor-Worker 架构，保证任务分发的线程安全和优雅停止？
- 在处理 LLM 流式响应时，如何高效拼接 token？
- 在多 Agent 协作系统中，如何用上下文管理器实现跨服务的分布式链路追踪？
- 在定义 Agent 组件接口时，Python 的 Protocol 和 abc.ABC 各有什么特点，在 Agent 框架设计中应该如何选择？
- 在异步 AI Agent 服务中，如何用 ContextVar 实现请求级别的上下文隔离，避免并发请求间的数据污染？
- 在异步 Agent 框架中，能否用 threading.Queue 在协程之间传递任务？
- 在批量处理 LLM 请求时，gather 和 as_completed 应该怎么选择？
- 在构建 AI Agent 框架时，Tool 参数校验和 Agent 配置管理应该用 Pydantic v2 还是 dataclass？
- 在构建 AI Agent 框架时，用多重继承组合 MemoryMixin、ToolMixin、LoggingMixin，MRO 和 C3 线性化算法是如何决定方法查找顺序的？
- 在构建 AI Agent 的工具调用链时，需要对大量 Tool 对象进行过滤和转换，请解释列表推导式、生成器表达式、map_filter 三者的性能差异，以及在 Agent 数据处理场景中应该如何选择
- 在设计 AI Agent 的 Tool 注册函数时，可变默认参数陷阱是如何产生的？None 哨兵模式怎么解决？
- 在设计一个支持多家 LLM 提供商的 Agent 框架时，LLM 客户端接口应该用 Protocol 还是 ABC？
- 在高并发 AI Agent 系统中同时运行数千个 Agent 实例时，slots 的工作原理是什么？怎么正确使用它优化内存？
- 如何为 AI Agent 系统设计自定义异常层次，以及重试、降级、熔断三层容错机制？
- 如何将上下文管理器应用于 Agent 链路追踪，包括 LLM 调用耗时、异常捕获，以及与 OpenTelemetry 的结合？
- 如何根据 API 的 RPM_TPM 限额合理设置 Semaphore 并发数，并结合 tenacity 构建完整并发控制方案？
- 如何用 Mixin 为 Agent 设计可插拔的能力组件？
- 如何用 asyncio.Queue 实现生产者-消费者模式调度 Agent 任务，并支持优雅关闭和优先级调度？
- 如何用 new 实现线程安全的单例模式？
- 如何用动态代理透明地为 Agent 所有工具调用加上日志和耗时监控？
- 如何用描述符实现 Agent 配置类的参数校验？
- 带参数装饰器和普通装饰器有什么区别？
- 当 AI Agent 系统出现响应慢、内存持续增长等性能问题时，如何使用性能分析工具链定位问题，并给出常见瓶颈的优化策略？
- 描述符协议的属性查找优先级是怎样的？property 的底层原理是什么？
- 生成器和普通函数有什么区别？
- 给 SmartAgent 加一个新的 TracingMixin，放在哪个位置最合适？如果放错了会怎样？
- 请解释 CPython 的引用计数机制和分代垃圾回收原理，以及在 AI Agent 中如何防范对话历史和 Tool 大对象导致的内存泄漏？
- 请解释 Protocol、TypeVar、Generic、Literal 的作用，并说明如何在 AI Agent 框架设计中用它们实现类型安全的工具注册和 Agent 接口约束。
- 请解释 Python 元类的工作原理，并实现一个基于元类的 Tool 自动注册系统，同时与 init_subclass 方案对比。
- 请解释 Python 描述符的 get、set、delete 协议，并说明如何用描述符实现 Agent 配置的类型校验和环境变量注入？
- 请解释 Python 生成器的底层帧挂起原理，以及如何用异步生成器实现 LLM 流式输出的 FastAPI SSE 接口？
- 请解释 asyncio 事件循环的工作原理，以及如何在 Agent 中正确使用 asyncio.gather 并发调用 LLM、用 Semaphore 防止 Rate Limit？
- 请解释带参数装饰器的三层嵌套结构，并实现一个支持指数退避+抖动的 LLM 自动重试装饰器。
- 请解释责任链模式的设计原理，并说明如何将其应用于 Agent 工具调用失败的场景，实现多级降级策略？
- 请说明 GIL 的工作原理，以及在 AI Agent 中三类典型负载（LLM 调用、文档处理、Embedding 计算）应该如何选择并发方案？
- 责任链模式是什么？
LLM-RAG--AI agent面试题库¶
- 1-大模型（LLMs）基础面
- 10-LLMs 训练经验帖
- 11-大模型（LLMs）langchain 面
- 12-多轮对话中让AI保持长期记忆的8种优化方式篇
- 13-基于langchain RAG问答应用实战
- 14-基于LLM+向量库的文档对话 经验面
- 15-大模型 RAG 经验面 Copy
- 16-LLM文档对话 —— pdf解析关键问题
- 17-大模型（LLMs）RAG 版面分析——表格识别方法篇
- 18-大模型（LLMs）RAG 版面分析——文本分块面
- 19-大模型外挂知识库优化——如何利用大模型辅助召回？
- 2-Layer normalization 篇
- 20-大模型外挂知识库优化——负样本样本挖掘篇
- 21-RAG（Retrieval-Augmented Generation）评测面
- 22-检索增强生成(RAG) 优化策略篇 Copy
- 23-大模型（LLMs）RAG —— 关键痛点及对应解决方案
- 24-大模型（LLMs）RAG 优化策略 —— RAG-Fusion篇
- 25-Graph RAG 面 — 一种 基于知识图谱的大模型检索增强实现策略
- 26-大模型（LLMs）参数高效微调(PEFT) 面
- 27-适配器微调（Adapter-tuning）篇
- 28-提示学习（Prompting）篇
- 29-LoRA 系列篇
- 3-LLMs 激活函数篇
- 30-如何使用 PEFT库 中 LoRA？
- 31-大模型（LLMs）推理面
- 32-大模型（LLMs）增量预训练篇
- 33-增量预训练（Pretrain）样本拼接篇
- 34-基于lora的llama2二次预训练
- 35-大模型（LLMs）评测面
- 36-大模型（LLMs）强化学习面
- 37-大模型（LLMs）强化学习——RLHF及其变种面
- 38-大模型（LLMs）强化学习—— PPO 面
- 39-强化学习在自然语言处理下的应用篇
- 4-Attention 升级面
- 40-大模型（LLMs）训练集面
- 41-大模型（LLMs）LLM生成SFT数据方法面
- 42-大模型（LLMs）显存问题面
- 43-显存优化策略篇
- 44-大模型（LLMs）分布式训练面
- 45-图解分布式训练（一） —— 流水线并行（Pipeline Parallelism）
- 46-图解分布式训练（二） —— nn.DataParallel篇
- 47-图解分布式训练（三） —— nn.parallel.DistributedDataParallel
- 48-图解分布式训练（四） —— torch.multiprocessing 详细解析
- 49-图解分布式训练（五） —— AMP混合精度训练 详细解析
- 5-transformers 操作篇
- 50-图解分布式训练（六）—— Pytorch的 DeepSpeed 详细解析
- 51-图解分布式训练（七）—— accelerate 分布式训练 详细解析
- 52-图解分布式训练（八）—— ZeRO 学习
- 53-大模型分布式训练故障恢复篇
- 54-pytorch 分布式计算 坑-bug 梳理篇
- 55-大模型（LLMs）agent面
- 56-LLMs 位置编码篇
- 57-LLMs Tokenizer 篇
- 58-怎么让英文大语言模型支持中文？（一） —— 构建中文tokenization
- 59-怎么让英文大语言模型支持中文？（二） —— 继续预训练篇
- 6-LLMs 损失函数篇
- 60-怎么让英文大语言模型支持中文？（三） —— 对预训练模型进行指令微调
- 61-大模型（LLMs）加速篇
- 62-LLMs 推理性能面
- 63-LLM（大语言模型）部署加速方法——PagedAttention篇
- 64-大模型推理加速工具 —— vLLM
- 65-LLM（大语言模型）部署加速方法——Faster Transformer篇
- 66-纯Python超轻量高性能LLM推理框架 —— LightLLM
- 67-LLM推理技术之StreamingLLM：如何拥有无限长生成能力
- 68-SwiftInfer —— 大模型无限流式输入推理飙升46_，打破多轮对话长度限制
- 69-大模型幻觉（LLM Hallucination）面
- 7-相似度函数篇
- 70-大模型的幻觉问题篇
- 71-如何缓解大模型幻觉？
- 72-LLMs 对比篇
- 73-百川智能baichuan7B、13B、53B、baichuan2 总结篇
- 74-LLaMA 常见面试题篇 Copy
- 75-GPT 经验篇
- 76-思维链 Chain-of-Thought（COT）
- 77-思维链 Chain-of-Thought（COT）变体篇
- 78-小样本提示学习篇
- 79-LLMs 测试集 中 数据泄露 问题篇
- 8-大模型（LLMs）进阶面
- 80-MOE（Mixture-of-Experts）篇
- 81-大模型蒸馏篇
- 82-LLMs 浮点数篇
- 83-自定义 CUDA 函数的轻量级包装器 —— bitsandbytes篇
- 84-大模型（LLMs）软硬件配置面
- 85-Token及模型参数准备篇
- 86-多模态常见面试篇
- 87-NLP Trick 篇
- 88-文本分类常见面试篇
- 89-文本摘要常见面试篇
- 9-大模型（LLMs）微调面
- 90-命名实体识别常见面试篇
- 91-向量检索常见面试篇 Copy
- 92-LLMs 其他 Trick
- 93-向量检索、检索增强生成（RAG）、大语言模型及相关系统架构——典型面
- 94-“幻觉”问题根本无解！为什么我们的大模型会“说胡话”？
- 95-一文读懂Transformer【超详细】【原理篇&实战篇】 - 飞书云文档 (1)
- 95-一文读懂Transformer【超详细】【原理篇&实战篇】 - 飞书云文档
LangChain面（高频）¶
- 定位与价值
- 设计哲学
- 项目结构
- Agent 概念
- 工具定义与使用
- 高级 Agent 架构
- 基础链
- 自定义链
- 链的调度与执行
- 高级链模式
- LangServe
- 安全实践
- 缓存机制
- 速率限制与成本控制
- 提示工程
- 模型抽象
- 输出解析器 (Output Parsers)
- 基本检索器
- 混合检索与重排序
- 高级检索器
- 回调系统 (Callbacks)
- 异步支持 (Async)
- 性能监控
- 流式处理 (Streaming)
- 对话记忆类型
- 记忆与 Agent 集成
- 记忆的持久化与多用户
- 记忆调试与测试
- 与其他框架的对比
- 常见陷阱与解决方案
- 生态与未来
- 项目结构建议
- 嵌入与向量库
- 文本分割
- 文档加载器
LoRA 高频面试题¶
NLP专项高频面试（学习检测¶
- NLP高频面（10）目前常见的几种大模型架构是啥样的
- NLP高频面（11）RLHF的流程有哪些
- NLP高频面（12）Lora微调的原理、什么是Qlora
- NLP高频面（13）什么是大模型幻觉，如何解决大模型幻觉
- NLP高频面（14）DPO、PPO等强化学习训练方法介绍
- NLP高频面（15）有哪几种分布式训练方式
- NLP高频面（16）deepspeed原理
- NLP高频面（17）什么是KV Cache
- NLP高频面（18）什么是prefill和decoder分离架构
- NLP高频面（19）VLLM推理加速原理
- NLP高频面（1）Transformer的基本结构、作用和代码实现
- NLP高频面（20）flash attention原理
- NLP高频面（21）deepseek V1-V3 分别有哪些改进，这些改进是如何对模型产生
- NLP高频面（22）deepseek论文中的的GRPO训练原理、和PPO相比有哪些改变，这些改进有什么
- NLP高频面（23）对抗训练的发展脉络，原理，演化路径
- NLP高频面（24）RAG相关内容简介
- NLP高频面（25）RAG的reranker模块结果，原理和目前存在的挑战
- NLP高频面（26）RAG的retriever模块作用，原理和目前存在的挑战
- NLP高频面（27）SFT有哪几种参数微调方法？有什么优缺点？
- NLP高频面（28）Reward model是如何训练的，怎么训练一个比较好的Reward model
- NLP高频面（29）大模型解码常见参数解析
- NLP高频面（2）LSTM、GRU和Transformer结构的区别与联系，优缺点分别是什么？
- NLP高频面（30）LLama系列模型介绍，包括LLama LLama2和LLama3
- NLP高频面（31）多模态预训练模型的主要结构、特征对齐与融合方法及对
- NLP高频面（32）介绍一下CLIP和CLIP2
- NLP高频面（33）Vision Transformer（ViT）模型架构介绍
- NLP高频面（34）深度解析Layer Normalization与Batch Normalization：区别、联系及Transfor
- NLP高频面（35）LLaMA _ ChatGLM _ BLOOM的区别
- NLP高频面（36）深入理解思维链（Chain-of-Thought）提示方法
- NLP高频面（37）大模型训练和推理的显存估计 - 飞书云文档
- NLP高频面（38）什么是LLM的灾难性遗忘？如何避免灾难性遗忘？
- NLP高频面（39）什么是大模型的涌现能力？
- NLP高频面（3）普通RNN的梯度消失和梯度爆炸问题
- NLP高频面（40）什么是 BitFit？
- NLP高频面（41）什么是 IA3 微调？
- NLP高频面（42）RAG系统评估：方法、指标与实践指南
- NLP高频面（43）什么是人类偏好对齐中的「对齐税」(Alignment Tax)？如何缓解？
- NLP高频面（44）RLHF过程中的马尔科夫决策过程及对话场景MDP设计
- NLP高频面（45）PPO 算法在 RLHF 中的原理与实现详解
- NLP高频面（46）Transformer 架构中的位置编码及其演化详解
- NLP高频面（47）探讨Transformer中的注意力机制：MHA、MQA与GQA
- NLP高频面（48）大语言模型中的思维链（CoT）技术详解
- NLP高频面（49）大模型RAG常见面试题解析
- NLP高频面（4）BN和LN的区别与联系，为什么attention要用LN
- NLP高频面（50）大模型（LLMs）分词（Tokenizer）详解
- NLP高频面（51）LSTM详解
- NLP高频面（52）BERT 变体详解
- NLP高频面（53）LLM中激活函数详解
- NLP高频面（54）深度学习优化器详解
- NLP高频面（55）深度学习正则化详解
- NLP高频面（56）深度学习归一化详解
- NLP高频面（57）DeepSeek系列概览与发展背景
- NLP高频面（5）BERT的基本结构介绍、预训练任务、下游任务
- NLP高频面（6）decoder-only、encoder-only和encoder-decoder的区别与联系
- NLP高频面（7）GPT和Bert的mask有什么区别？ (1)
- NLP高频面（7）GPT和Bert的mask有什么区别？
- NLP高频面（8）GPT三个版本的区别
- NLP高频面（9）大模型常见的几种解码方案
PyTorch 面试八股¶
- 一：PyTorch 基础与张量操作
- 七：模型部署与性能优化
- 三：神经网络模块 (torch.nn)
- 九：前沿扩展与实战
- 二：自动求导机制
- 五：训练与优化
- 八：高级特性与调试
- 六：分布式训练
- 四：数据处理与加载
Python面¶
- Python60道在真实 Python 面试中常见且具有代表性的问题（面试必背）
- Python—编程八股
- （python面试题）快速全面掌握python（必背）—— 60 道python面试题及详细
- （python面试题）快速全面掌握python（必背）—— 60 道python面试题及详细答案
RAG核心面（精选）¶
RLHF面试高频考点¶
- RLHF 的核心动机与定义
- 与其他学习范式的区别
- 标准三阶段流程
- 偏好数据构造
- 奖励模型架构与训练
- 奖励模型的局限与风险
- KL 散度约束
- PPO 算法核心组件
- 四个关键模型的角色与交互
- 强化学习问题形式化
- 训练流程与稳定性 (1)
- 训练流程与稳定性
- 其他偏好优化方法 (1)
- 其他偏好优化方法
- 方法选择指南 (1)
- 方法选择指南
- 直接偏好优化（DPO） (1)
- 直接偏好优化（DPO）
- 安全与红队测试 (1)
- 安全与红队测试
- 对齐效果评估 (1)
- 对齐效果评估
- 训练过程监控 (1)
- 训练过程监控
- RLAIF 与宪法 AI (1)
- RLAIF 与宪法 AI
- RLHF 的理论视角 (1)
- RLHF 的理论视角
- 参数高效 RLHF
- 多模态与具身 RLHF
- 过程奖励与细粒度监督
- 迭代对齐与持续学习
- 分布式 RLHF 系统架构
- 实验管理与复现
- 显存与计算优化
- 训练稳定性的工程技巧
SFT面（精选）¶
Transfomer精选面试¶
- 新架构探索
- 现代大模型基座
- 里程碑模型
- 长上下文模型
- 相对位置编码
- 绝对位置编码
- 长度外推方法
- 分词与嵌入
- 常用预训练架构
- 总体架构设计
- 预训练任务
- KV Cache 机制
- 推理加速技术
- 模型压缩
- 部署方案
- 梯度与反向传播
- 系统性调优思路
- 计算与参数量
- 其他增强
- 效率型注意力
- 结构型变体
- 优化器与学习率调度
- 大规模分布式训练
- 训练稳定性
- 训练精度与显存优化
- 前馈网络与激活函数
- 多头注意力
- 残差连接与归一化
- 自注意力机制
分布式训练-核心题¶
- 一：基础概念与训练流程
- 七：训练加速技巧
- 三：分布式并行策略
- 九：主流训练框架与工具
- 二：显存分析与估算
- 五：通信机制与拓扑
- 八：MoE（混合专家）训练
- 六：训练稳定性与调试
- 四：ZeRO 优化与显存卸载
多模态面（精选）¶
- 可解释与因果
- 合成数据与模型自进化
- 多模态 Agent
- 新架构与范式
- 生态与未来
- 生成、模拟与世界模型
- 统一多模态大模型
- 行业应用与交叉学科
- 多模态定义与挑战
- 对齐与对比学习
- 常见任务形式
- 系统与流程
- 表示学习与融合方式
- 零样本与鲁棒性
- 多模态对齐与幻觉
- 安全与偏见
- 分布式训练
- 推理优化
- 服务架构与部署
- 模型压缩
- 端侧与特殊场景
- 其他架构
- 多模态大语言模型 (MLLM)
- 视觉-语言预训练模型（理解与对齐）
- 视觉生成模型（文本到图像_视频）
- 低资源高效微调
- 多阶段训练流程
- 数据工程
- 训练技巧与稳定性
- 预训练目标
- 幻觉与偏见评估
- 综合评测基准
- 评估指标与方法
- 评估设计与工程
大模型专项面试题库¶
- 200道AI算法工程师必背面试题
- 26年大模型高频面试60道
- 30 道关于视频扩散模型（Video Diffusion Models）及其相关技术的面试题
- 300道大模型岗位面试题分类整理
- AI大模型面试题
- AI技术面试总结问题
- AI面试题合集（机器学习_深度学习_自然语言）（1）
- AI面试题合集（机器学习_深度学习_自然语言）（2）
- Al智能客服系统面试
- DeepSeek R1：从简到深全面学习如何利用强化学习训
- DeepSeek-R1深度报告 —— 50道相关面试题（必背） —— 深刻理解相关概念（Deep
- LangGraph
- OpenCV-面试题库大全
- OpenClaw 大模型面试题（附答案）
- Transformer面试问题汇总
- Transformer面试题总结97道
- 人工智能算法工程师高频面试题解析
- 大模型LLM面试题大全超详细解析
- 大模型应用开发-面试题库大全
- 大模型算法工程师-面试题库大全
- 大模型面试常见问题及详细解答
- 大模型高频面试50道
- 对比学习（Contrastive Learning）」的 30 道面试题清单
- 深度学习面试八股
- 算法研究员-面试题库⼤全
- （97道）最新版AI大模型面试题
- （两万字深度研究—如何提高模型准确率）目标检测准确率提高终极指南
- （强化学习面试题）快速全面掌握强化学习（必背）
大模型大厂面试题，持续更新¶
- 【华为】-大模型技术面经 (1)
- 【华为】-大模型技术面经
- 【字节】-大厂NLP技术面试 (1)
- 【字节】-大厂NLP技术面试
- 【字节】大厂LLM面试必考题 (1)
- 【字节】大厂LLM面试必考题
- 【字节】大模型（LLMs）RAG 检索增强生成面（完整版） (1)
- 【字节】大模型（LLMs）RAG 检索增强生成面（完整版）
- 【小米】大厂面试笔试算法精华题 (1)
- 【小米】大厂面试笔试算法精华题
- 【百度】人工智能经典考题
- 【腾讯】-大语言模型面试题 (1)
- 【腾讯】-大语言模型面试题
- 【阿里】-大模型面试真题 (1)
- 【阿里】-大模型面试真题
- 【阿里】大厂高频算法题 (1)
- 【阿里】大厂高频算法题
- 千问大模型应用开发工程师二面
- 大模型校招大厂面试题 (1)
- 大模型校招大厂面试题
- 字节搜广推大模型面试（一，二面）
- 小米大模型一面
- 快手大模型开发面经 (1)
- 快手大模型开发面经
- 拼多多大模型面经
- 文心一言实习面经
- 百度AI Agent开发面试题集
- 米哈游LLM算法实习面经
- 美团Agent面试
- 腾讯wxg大模型算法面试题
- 腾讯微信大模型算法一面
- 腾讯混元大模型开发面试
- 蚂蚁AI应用开发面试
大模型幻觉面¶
大模型微调-核心题¶
- 一：微调基础与分类
- 七：分布式微调与工程优化
- 三：参数高效微调（PEFT）
- 九：多模态大模型微调
- 二：全参数微调
- 五：偏好对齐微调（RLHF_DPO）
- 八：微调评估与问题诊断
- 六：微调数据工程
- 十一：手撕代码与项目深挖
- 十二：系统设计与软技能
- 十：前沿微调技术
- 四：指令微调（SFT）
大模型手撕-核心题¶
- 1.手写多头自注意力（Multi-Head Self-Attention）
- 2.手撕旋转位置编码（RoPE）
- 3.解码策略实现（Beam Search & Sampling）
- 4.LoRA 原理与权重合并
- 10.RAG 检索与重排序
- 11.DPO 损失函数
- 12.Agent 工具调用解析器
- 9.BPE Tokenizer 训练伪代码
- 5.KV Cache 管理 & PagedAttention
- 6.FlashAttention 分块逻辑
- 7.分布式并行通信模拟
- 8.模型量化基本操作
大模型推理-核心题¶
大模型蒸馏面试-核心题¶
- 一：知识蒸馏基础
- 七：蒸馏训练策略与超参
- 三：黑盒蒸馏（仅使用教师输出）
- 九：前沿趋势与开放问题
- 二：大模型蒸馏的特殊挑战
- 五：蒸馏与量化_剪枝结合
- 八：蒸馏评估与对比
- 六：LLM 蒸馏实战与典型案例
- 四：白盒蒸馏（利用教师内部状态）
大模型评测面试题¶
- 一、评测基础与框架
- 七、多模态评测
- 三、人类评估与混合评估
- 二、自动化评测指标与经典基准
- 五、多维度能力评测（知识、推理、代码、对话等）
- 八、评测中的陷阱与前沿
- 六、安全性、偏见与鲁棒性评测
- 四、LLM-as-judge
显存问题-核心题¶
- 不同精度下的显存换算
- 其他
- 推理时显存构成
- 显存的核心角色
- 训练时显存构成
- ZeRO 优化
- 参数高效微调
- 并行策略与显存
- 激活值优化
- 系统级优化
- 量化与压缩
- 推理显存快速估算
- 瓶颈定位
- 给定硬件反推可行性
- 训练显存快速估算 (1)
- MoE 模型的显存特性
- 其他前沿话题
- 硬件演进对显存的影响
- 长上下文带来的显存挑战
- OOM 的排查链路
- 推理服务中的显存管理
- 端侧部署的显存约束
- 训练不稳定的显存因素
机器学习专项面试（学习检测¶
- 机器学习数据、特征处理、模型融合
- 机器学习笔试_面试题 七
- 机器学习笔试_面试题 三
- 机器学习笔试_面试题 四
- 机器学习笔试_面试题五
- 机器学习笔试_面试题六
- 机器学习笔试_面试题目 一
- 机器学习笔试_面试题目 二
- 机器学习面试八股升级版
深度学习面（精选）¶
- 感知机与多层感知机 (MLP)
- 损失函数
- 激活函数
- 模型调试与偏差-方差
- 评估指标
- 其他卷积形式
- 感受野与计算
- 核心组件
- 经典架构演进
- 初始化方法
- 学习率调度
- 归一化层
- 梯度下降变体
- 正则化与防过拟合
- 扩散模型 (Diffusion Models)
- 生成对抗网络 (GAN)
- 自编码器 (AE) 与变分自编码器 (VAE)
- Transformer 与大型语言模型
- 多模态学习
- 强化学习基础
- 目标检测与图像分割
- 自监督学习与对比学习
- 分布式训练
- 推理加速与模型压缩
- 框架与工具
- 序列到序列 (Seq2Seq) 与注意力
- 序列处理技巧
- 循环神经网络 (RNN)