NLP高频面（49）大模型RAG常见面试题解析

NLP高频面（49）大模型RAG常见面试题解析¶

本文讨论了大模型RAG常见面试题解析，涵盖构建RAG系统的原因、与大模型微调的区别和适用场景、总体流程等多方面内容。关键要点包括：

构建RAG系统的原因：结合信息检索和生成模型，解决LLM在知识更新、幻觉和上下文限制等问题，引用外部知识库提高答案准确性和相关性。

RAG与微调的区别及适用场景：RAG无需修改模型参数，适用于需频繁更新知识库等场景；微调需调整模型参数，适用于特定任务性能要求高、数据稳定的场景。

RAG总体流程：包括用户理解、索引构建、检索召回、重排序、生成回答。

用户理解阶段处理及作用：处理方式有查询清洗、扩展和意图识别，作用是提高检索准确性。

用户问题召回不准确的优化方法：有查询重写、引入上下文、多轮对话管理。

索引构建方法：问答对构建方法有标准化问题、多样化答案、向量化存储；文档构建方法有文档切分、添加元数据、多层索引。

多路检索及结果处理：实现方法有并行和串行检索，结果处理包括合并去重、加权排序和使用重排序模型精排。

为什么要构建RAG系统？¶

RAG系统通过结合信息检索和生成模型，解决了LLM在知识更新、幻觉和上下文限制等方面的挑战。它允许模型在生成响应前引用外部知识库，提高答案的准确性和相关性。

RAG与大模型微调的区别？¶

项目	RAG系统	大模型微调
知识更新	通过更新外部知识库实现	需要重新训练模型
成本	较低	高，需大量计算资源
灵活性	高，适用于多任务场景	低，通常针对特定任务优化
部署	简单，易于集成	复杂，需重新部署模型

RAG无需修改模型参数，而微调则需要调整模型的权重和参数。通常情况下，微调和RAG架构都可以用来自定义模型。

RAG与微调的适用场景？¶

RAG适用场景：需要频繁更新知识库、处理多任务、快速部署的应用，如企业知识问答系统。

微调适用场景：特定任务性能要求高、数据稳定的应用，如法律文书生成、医学诊断等。

RAG的总体流程？¶

用户理解：解析用户查询，进行预处理。

索引构建：将文档切分、向量化，存入向量数据库。

检索召回：根据查询，从数据库中召回相关文档。

重排序：对召回结果进行精排，提升相关性。

生成回答：将处理后的信息输入LLM，生成最终答案。

用户理解阶段的处理及作用？¶

处理方式：

作用：提高检索准确性，确保召回结果与用户需求匹配。

用户问题召回不准确的优化方法？¶

查询重写：使用LLM对查询进行改写，提升表达清晰度。

上下文引入：结合用户历史记录，丰富查询背景。

多轮对话管理：维护对话状态，理解连续查询。

问答对中索引构建的方法？¶

标准化问题：统一问题表达，减少多样性。

多样化答案：提供不同角度的答案，覆盖更多查询。

向量化存储：将问答对向量化，存入数据库，支持相似度检索。

文档问答中索引构建的方法？¶

文档切分：将文档按语义切分为小块。

元数据添加：为每个文档块添加标题、摘要等元信息。

多层索引：建立摘要索引和详细内容索引，支持层级检索。

索引阶段的优化方法？¶

动态分块：根据内容密度调整块大小，确保语义完整。

重叠切分：在切分时添加重叠部分，防止信息丢失。

索引更新：定期更新索引，反映最新内容。

多路检索的实现方法？¶

并行检索：同时使用关键词检索和向量检索，获取多种结果。

串行检索：先使用一种检索方式，结果不理想时再使用其他方式。

多路检索结果的合并与排序？¶

结果合并：将不同检索方式的结果集合并，去重。

加权排序：根据各自的置信度，对结果进行加权排序。

重排序模型：使用训练好的模型，对合并结果进行精排。

BM25检索器召回无关知识的原因？¶

查询表达不清：用户查询含糊，导致匹配错误。

文档质量差：文档内容与查询无关，影响匹配效果。

缺乏上下文：BM25无法理解查询的上下文，导致误匹配。

利用其他用户使用情况提升检索性能？¶

点击率分析：分析用户点击行为，优化排序策略。

查询日志挖掘：挖掘高频查询。