NLP高频面（24）RAG相关内容简介¶

本文讨论了NLP高频面试中RAG相关内容，介绍了RAG的概念、工作流程、优势、挑战及优化方向。关键要点包括：

RAG基本概念：整合检索模块和生成模块，检索模块从外部知识库实时检索信息，生成模块基于检索的上下文生成答案，可利用最新知识。

工作流程－数据准备阶段：包括数据提取（从多种数据源加载并处理数据）、文本分割（将长文本分割成小块）、向量化（将文本块转为高维向量）、数据入库（将向量存于向量数据库）。

工作流程－应用阶段：接收用户查询，将其向量化后在向量数据库检索相关文本块，与原始查询组合成提示词输入生成模型，最终生成回答。

RAG优势：能实时更新知识、减少幻觉、增加生成答案的透明度、避免频繁重训练模型。

面临挑战：检索质量影响生成结果，需优化检索算法和索引结构；要有效整合检索信息与生成模型内部知识；检索可能增加响应时间，需平衡性能和准确性。

优化策略－检索算法：采用稠密向量检索和近似最近邻搜索等先进技术，提高检索效率和准确性。

优化策略－文本分割与生成模型：按语义智能分割文本，保持语义完整；微调生成模型，使其更好利用外部信息。

检索增强生成（Retrieval-Augmented Generation，简称 RAG）是一种将信息检索与生成模型相结合的技术，旨在提升大型语言模型的响应准确性、相关性和时效性。通过在生成过程中引入外部知识，RAG 能够有效弥补 LLM 在知识局限性、幻觉问题和数据时效性等方面的不足。

RAG 的基本概念¶

RAG 技术的核心在于整合检索模块和生成模块：

检索模块：从外部知识库（如文档、数据库）中实时检索与输入相关的信息。

生成模块：基于检索到的上下文，生成连贯且准确的答案。

这种双模块架构使得模型在生成答案时，能够利用最新、最相关的知识，而不仅仅依赖于训练时的静态数据。

RAG 的完整应用流程主要包括两个阶段：数据准备阶段和应用阶段。

数据提取：从多种数据源加载数据，包括不同格式和来源的文档，并进行清洗、过滤和格式化处理。

文本分割：将长文本分割成适合处理的小块，常见的方法包括按句子、固定长度或语义完整性进行切分。

向量化（Embedding）：使用预训练的嵌入模型将文本块转换为高维向量表示，捕捉其语义信息。

数据入库：将生成的向量存储在向量数据库中，支持高效的相似性搜索。

用户提问：接收用户输入的查询。

数据检索：将用户查询向量化，并在向量数据库中检索最相关的文本块。

注入 Prompt：将检索到的文本块与原始查询组合，形成提示词，输入到生成模型中。

LLM 生成答案：生成模型基于提供的上下文和查询，生成最终的回答。

实时更新：能够访问最新的外部信息，保持知识的时效性。

减少幻觉：通过使用外部验证信息，减少模型产生的错误或虚构信息。

高透明度：生成答案时引用外部信息源，增加可信度和可追溯性。

避免重训练：相比于微调，RAG 减少了频繁重训练的需要，因为模型可以通过检索即时获取新信息。

检索质量：检索模块的性能直接影响生成结果的质量，需要优化检索算法和索引结构。

生成整合：如何有效地将检索到的外部信息与生成模型内部知识融合，是提升回答质量的关键。

延迟问题：检索过程可能增加响应时间，需要在性能和准确性之间取得平衡。

针对上述挑战，以下是一些优化策略：

改进检索算法：采用更先进的向量检索技术，如稠密向量检索和近似最近邻搜索，提高检索效率和准确性。

优化文本分割：根据语义信息进行智能分割，保持文本块的语义完整性，避免信息丢失。

增强生成模型：通过微调生成模型，使其更好地利用检索到的外部信息，提高回答的连贯性和准确性。