二、幻觉的成因

从训练数据角度，哪些数据问题会导致幻觉？¶

训练数据是模型知识的唯一来源，其质量、覆盖度和构成方式从根本上塑造了模型的幻觉倾向。以下数据问题是幻觉的主要温床：

（1）事实错误与虚假信息

训练语料（如网络爬取的网页、论坛、社交媒体）中存在大量事实错误、过时信息、谣言和阴谋论。模型无法区分真伪，只会学习这些错误陈述的统计模式，并在未来以高置信度复现，形成事实性幻觉。

（2）信息不完整与片面性

许多文本只呈现事件的片面或单一视角，缺乏完整的背景。模型学习到这种有偏的关联，当遇到需要全景知识的提问时，会依据不完整信息“脑补”缺失部分，产生幻觉。例如，只学习到某药物有效性的正面报道，缺少副作用信息，就可能错误宣称该药绝对安全。

（3）实体混淆与长尾稀疏

对于重名实体、冷门实体或多义词，训练数据中的共现信号模糊或矛盾。模型无法稳定地将实体与正确属性绑定，容易张冠李戴，如将不同同名人物的事迹合并。
长尾实体在训练数据中出现次数极少，甚至只出现于少量错误语境中，导致模型对它们的信息几乎空白，最终以高频模式补全，产生幻觉。

（4）虚构作品与讽刺内容的字面学习

科幻小说、童话、笑话、反讽等文本中包含大量非现实陈述。缺乏世界模型的模型会将这些内容等同于事实，导致反事实幻觉。例如，多次读到“猪会飞”的比喻后，模型可能在回答动物能力时错误地声称猪可以飞行。

（5）模板化与过时的知识

某些训练文本（如旧的百科全书、过时网页）中的知识已经更新，而模型在时间戳不敏感的预训练中将这些陈旧知识当作事实。对于时效性强的问题，模型很可能输出已经不再正确的信息。

（6）数据中的偏见和刻板印象

性别、种族、地域等方面的刻板印象会引导模型在不确定时沿偏见方向进行推测，产生既偏见又虚构的陈述，如假设某职业的从业者必然是特定性别，并进一步编造其生平细节。

（7）缺乏“不确定性”表达的示范

人类在对话中很少明确说“我不知道”，尤其在正式文本和网络文章中，人们通常直接给出答案或推测。模型缺少对知识边界和拒绝回答的文本示范，因此在面对知识盲区时，它倾向于模仿那些总是提供答案的模式。

（8）数据中毒与恶意篡改

若训练数据被故意植入虚假信息，模型会有针对性地学习这些“后门”事实，导致在特定触发词下产生定向幻觉。

（9）重复与去重策略不当

数据中高度重复的样本（无论正确与否）会强化某些模式，使模型过度记忆这些案例，并在相关但不同的上下文中不适当复用，形成公式化的幻觉。

这些数据问题往往相互叠加，使得模型内化了大量错误、有偏、过时或虚构的知识关联，成为幻觉的直接成因。

预训练数据中的错误信息会如何影响模型？¶

预训练数据中的错误信息对模型的影响是系统性、隐蔽且持久的，具体表现为：

（1）事实性知识的直接扭曲

模型会将错误信息作为“真理”进行编码。当这些错误信息在数据中占据一定统计优势时，模型会以高置信度生成错误陈述。例如，如果大量网页错误地将“爱迪生发明了电灯”呈现为唯一事实，模型就会忽略其他发明者的贡献，重复该错误。
错误信息一旦被参数化存储，就很难通过后续微调彻底根除，因为大规模预训练建立的错误关联深深嵌入权重矩阵。

（2）概念间虚假关联的建立

错误信息会在实体之间建立起不存在的强关联。比如，某谣言长期将某疫苗与特定副作用并提，即使后来被辟谣，模型仍可能习得“疫苗-副作用”的过度联结，在生成时被激活，构成幻觉。
这种虚假关联会导致模型在推理时进行错误跳跃，生成看似合理但违背事实的因果链。

（3）污染长尾知识，削弱不确定性

在长尾领域，少量的错误信息就足以主导模型对该领域的认知，因为正确信息可能更加稀疏。模型会以高置信度输出罕见但其实错误的“知识”，而由于该领域样本少，评估和发现也更为困难。
错误信息让模型形成一种错觉：所有问题都有确定答案。这会削弱模型表达不确定性的能力，加剧在知识边界上的幻觉。

（4）对安全对齐的破坏

预训练中的错误信息和有害内容，虽然经过RLHF对齐后表面上被抑制，但在对抗性提示下仍可能被激发（越狱）。幻觉型有害回答（如给出危险建议）的根源往往可以追溯到预训练数据中的毒素。

（5）模型对错误信息的放大与固化

错误信息并非均匀分布，往往形成回音室。模型学习了这些集中爆发的错误模式后，在生成时不仅重复，还会“创造”出符合该模式的新错误，从而放大原有偏误。
例如，大量错误的健康建议会在模型内部建立伪权威模式，使其系统性地制造更多类似错误建议。

应对思路：需要耗费大量资源进行数据清洗、事实核查和后续的知识编辑/遗忘，但完全修复几乎不可能，这也是大模型事实性研究的核心难点。

数据重复与幻觉有关吗？重复样本会带来什么影响？¶

是的，数据重复与幻觉有密切关系。重复样本在训练数据中形成非均匀的密度分布，从多个机制增加幻觉风险。

重复样本带来的影响：

（1）过度记忆与“倒背如流”的陷阱

重复样本使得模型将某些特定序列（可能包含错误）几乎死记硬背。当上下文与该序列部分匹配时，模型极大概率会继续输出记忆中的后续内容，即使该内容在当前语境下是错误或不恰当的。
例如，数据中多次出现“奥巴马出生在肯尼亚”的虚假陈述，模型会对此形成强记忆，在回答奥巴马出生地时反而忽略正确事实（夏威夷），造成事实性幻觉。

（2）强化虚假关联和刻板印象

若含有偏见或错误的文本片段被大量重复，模型会把这些关联视为强统计规律。即使正确的关联也存在，但由于重复样本的权重过高，模型在解码时更倾向选择高频模式，从而系统性地产生特定类型的幻觉。

（3）降低数据多样性与泛化能力

重复样本挤占了本可以用于更广泛知识的容量空间，导致模型对长尾事实的记忆不充分。当遇到罕见问题时，模型因缺乏多样化的知识储备而不得不依赖于从重复样本中学到的模板进行猜测，从而产生幻觉。
同时，数据多样性下降会削弱模型在分布外的泛化能力，使其更容易在陌生组合中产生错误输出。

（4）引发记忆型幻觉（Verbatim Hallucination）

模型可能在生成时大段复述训练文本，即使这些文本与当前问题部分相关但整体不匹配，形成一种“文不对题”的忠实性幻觉。这在去重不彻底的代码模型和法律文本模型中尤其突出。

（5）对去重策略的挑战

若去重过度或不恰当，可能误删必要的正例，导致知识缺失；若去重不足，则重复样本效应显现。需要在去重时保留事实一致性，这非常困难。

缓解方向：精确的语义去重、平衡各领域数据的密度、对重要但不丰富的正例进行小幅上采样而非粗暴重复，可减轻重复导致的有害幻觉。

知识截断（knowledge cutoff）是如何导致幻觉的？¶

知识截断指模型在某个时间点停止接收新训练数据，其对这之后发生的事情一无所知。这导致模型在面对截断日期之后的事件、发展或变化时，极易产生幻觉。

具体机制：

（1）时间错位的编造

当用户询问截断日期之后的信息，模型没有记忆，但被训练为总是生成有帮助的回复，于是它会根据之前学到的时间序列模式和背景知识进行“预测”。
例如，模型截止于2023年初，用户问“2024年奥运会在哪里举办？”，模型可能会推断上次奥运会的地点、循环周期，甚至编造一个城市名称，形成完整但虚假的事实陈述。

（2）过时知识充当当前事实

对于缓慢变化的事实（如公司CEO、国家领导人、科学共识），截断后如果发生变化，模型仍提供旧信息，这种过时回答在现实中即构成幻觉。
模型通常不会在回答中附加“据我所知截至2023年...”的限定，用户无法分辨真假，误导性很强。

（3）对虚构未来的持续演绎

在连续对话或多步推理中，一旦模型基于过时前提做出了第一个错误预测，后续的内容会继续在这个错误预测的基础上叠加，形成一个自洽但完全虚构的未来叙事。

（4）应对行为：虚假时间戳

为掩饰无知，模型有时会主动生成带有特定年份的声明，如“2023年5月的一项研究表明...”，而这项研究并不存在。这演变成了来源幻觉。

缓解方法：

引入检索增强生成（RAG），让模型链接到最新知识源。
明确告知用户知识截止日期，并训练模型在必要时表达该限制。
使用时敏性数据集微调，使其学会说“我不了解XX之后的信息”。

为什么模型会对“不知道”的知识进行编造，而不是拒绝回答？¶

这是大模型幻觉的核心行为之一。模型面对知识盲区时倾向于编造而不是坦诚无知，源于训练目标、数据构成和微调压力。

（1）训练目标与数据偏差：语言模型是“续写”引擎

预训练目标是在给定上文时最大化下一 token 的似然。在互联网文本中，人很少直接写“我不知道，无法回答”，相反，他们通常会给出某种答案、推测或转向相关话题。因此，模型学到的最可能的续写模式是提供内容，而非表达无知。
对模型而言，“编造一个答案”的统计概率远高于“我不知道”，因为在训练语料中前者出现的频率远高于后者。

（2）微调阶段的“帮助性”过度对齐

在指令微调（SFT）和 RLHF 中，人类评估者倾向于奖励提供具体答案、展现帮助性的回复。拒绝回答或表达不确定性可能被标为低质量或逃避。这进一步强化了模型“无论如何都要给出答案”的行为。
除非受到专门安全训练（如对有害请求），否则模型很少学习到基于知识边界拒绝的策略。

（3）缺乏元认知和内部不确定性估计

模型没有内置的知识存在性检查器。它无法判断一个知识是“确定知道”、“模糊记得”还是“完全空白”。对于模型而言，所有知识都只是不同强度的参数激活。在知识缺失时，微弱但非零的模式激活仍然会驱动一个“最佳猜测”，该猜测在外观上就是编造。
模型无法区分“高概率正确”和“高概率合理但错误”的续写。

（4）概率最大化导致的“合理谎言”

解码时，模型倾向于采样或贪心选择概率最高的 token。面对未知领域，最高概率的 token 序列通常是能构成语法正确、语义连贯的句子，即使事实为假。因为在统计上，连贯的假话比破碎的真话或“不知道”更像训练文本。

（5）提示与上下文压力

用户的提问方式常常预设了答案存在。例如“告诉我XX的原理”，这种指令排除了“它不存在”或“我不知道”作为高概率回应。模型根据语言惯例，会尽力满足用户预期的格式，从而编造原理。

改进措施：需要针对性地构造包含知识边界拒绝的微调数据，训练模型估计自身不确定性，并结合检索或外部知识库，让模型养成“核查再回答”的习惯。

从模型架构角度，自回归生成方式如何助长幻觉？¶

自回归生成是当前大语言模型的核心范式，即逐个 token 生成，每一步都基于之前所有已生成的 token。这种机制在赋予模型灵活性的同时，也系统性助长了幻觉。

（1）错误传递与放大（Error Propagation / Snowballing）

由于序列生成时，当前 token 的预测以模型之前生成的 token 为条件，一旦在某一步生成了一个错误或不准确的 token，这个错误就成为后续上下文的一部分，导致模型沿着错误方向继续生成以维持局部一致性，形成一连串的幻觉。
例如，模型在回答中首先错误地声称“巴黎是英国的首都”，那么在生成后续内容时，它会继续编造“它位于英格兰东南部...”，因为这是给定错误前提下的合理续写。错误像滚雪球一样越来越离谱。

（2）缺乏全局规划与回溯能力

自回归模型在生成时没有机会进行全局修正，无法像人类一样先打草稿、整体审视、再修改。一旦生成就不可撤回。这意味着局部统计最优的选择可能导致全局不一致或事实冲突，但模型毫不知情。
模型不具备对已生成内容进行事实核查并主动纠正的机制，即使后来“意识”到矛盾，也只能继续生成，无法删除前面的错误。

（3）暴露偏差（Exposure Bias）

训练时，模型接触的是真实的前缀（ground-truth tokens）；推理时，模型却依赖于自己生成的可能带有错误的前缀。这种训练和推理时的分布偏移使模型对自身错误的鲁棒性极差，很容易在自回归循环中偏离正确轨道，产生幻觉。

（4）上下文遗忘与注意力稀释

在长文本生成过程中，自回归生成的上下文越来越长，早期已生成的内容可能因为注意力机制的距离衰减或压缩而被“遗忘”。模型可能在文末生成与文首相矛盾的内容，导致内在一致性幻觉。

缓解方向：非自回归生成、插入式生成、生成后编辑、多次采样投票、以及训练时引入自生成前缀的对抗训练，可部分抵消这些结构性问题。

注意力机制的不确定性是否与幻觉产生有关？¶

是的，注意力机制中的不确定性（如注意力弥散、注意力头冲突、过度关注虚假关联）是导致幻觉的重要微观机制。

具体关联：

（1）注意力弥散与关键信息遗漏

在处理长输入时，注意力需要分配在大量 token 上，可能无法锐利地聚焦于最关键的信息单元。模型对源文中重要事实的注意力权重不够集中，导致解码时“没看清”或“没记住”，于是依靠自身参数知识补全，产生不忠于输入的幻觉。
例如，摘要任务中，如果模型对原文的数字和专有名词注意不足，很容易在摘要中改写错误。

（2）虚假相关性的过度关注

注意力头可能会过度关注数据中的虚假统计相关，例如在训练中经常共现的词语对（“黑人”和“犯罪”），即使输入不包含这种关联，注意力仍会将它们高权重连接，从而生成偏见性幻觉。
这会导致模型对输入中没有明示的内容进行“强行关联”，产生过度推断。

（3）注意力头之间的冲突与不一致

多头注意力中，不同头可能关注不同的信息片段，并输出互相矛盾的上下文表示。随后前馈网络层在融合这些信号时可能产生不确定或混乱的表征，导致解码时立场摇摆或事实混淆。
这种内部的不一致是生成内容自相矛盾（内在幻觉）的来源之一。

（4）注意力对位置和模式的机械依赖

注意力权重有时依赖于位置和标点符号等表面特征，而非语义内容。这导致模型容易被格式模板所诱导，在特定位置机械填入常见词，产生与语义无关的套话式幻觉。

（5）不确定性量化困难

当前的注意力分布未必代表模型真正的置信度，常常出现注意力权重高但预测错误的情况。这种不确定性的误标定使模型难以在不确定时采取保守策略，而是以高注意力权重为“底气”生成编造内容。

研究证据：已有工作通过分析注意力熵、注意力集中度与幻觉之间的关系，发现幻觉句子的注意力分布往往更均匀或集中于错误的源 token。利用这些注意力特征可以设计幻觉检测器。

缓解：引导注意力更准确地聚焦于源文，引入稀疏注意力或可解释注意力正则，以及基于注意力不确定性的动态检索增强。

暴露偏差（Exposure Bias）在推理时如何引发幻觉？¶

暴露偏差指模型在训练时只接触过真实数据中的正确前缀（通过教师强制 Teacher Forcing），而在推理时却要依赖自身生成的前缀。这种训练与推理的不一致导致推理时错误迭代放大，从而引发幻觉。

引发幻觉的机制：

（1）对自生成错误的脆弱性

训练时，模型每一步都是在百分之百正确的上下文上预测下一个 token，因此它从未学习过如何在包含自身错误的上下文中恢复或修正。当推理时第一步就生成一个小错误，这个错误对于模型来说是一个分布外的输入（因为训练中从未见过这样的错误前缀），模型可能做出不可预测的反应，比如生成更加离谱的 token，从而诱发幻觉。
换言之，模型缺乏针对自身“口误”后的纠错能力。

（2）错误前缀导致语义漂移

一个微小的词条错误可能将整个前缀的语义空间拉偏。例如，模型在摘要中误将“产品销量下降”写成“产品销量上升”，后续基于“上升”的推理可能全部倒转，形成严重的忠实性幻觉。
这种漂移随着生成步数增加呈指数级恶化，因为每个新 token 都进一步巩固错误方向。

（3）连贯性压力下的编造

即使在错误前缀下，模型仍然努力维持输出连贯。因此，当发现自己处于一个逻辑不自治的语境中时，它会编造额外的细节来“圆谎”，使得幻觉链条延长。这种类似人类的“圆谎”行为是暴露偏差的直接后果。

（4）解码策略的叠加效应

如果使用贪心解码或低温度采样，模型缺乏机会探索更正 token，一旦陷入错误路径就会一条路走到黑。而训练时的教师强制却在每一步都提供“黄金路径”，两者差异使推理时的错误路径极为顽固。

缓解方法：

计划采样（Scheduled Sampling）：训练时逐步使用模型自身生成的前缀来替代真实前缀，让模型学会从错误中恢复。
序列级知识蒸馏：使用大模型生成完整序列，小模型直接学习整个序列，减少自回归累积误差。
生成后编辑：生成完整文本后，用校对模型修正错误片段。

解码策略（如温度、top-p、top-k）如何影响幻觉率？高温是否更容易产生幻觉？¶

解码策略直接影响模型输出的概率利用方式，对幻觉率有显著且可调节的影响。一般而言，高温会增加幻觉率，但具体效应与策略的组合密切相关。

（1）温度（Temperature）

温度 T 控制 softmax 的陡峭程度。低温（T<1）使分布更尖锐，高概率 token 相对更可能被选中；高温（T>1）使分布更平坦，低概率 token 也获得采样机会。
低温：倾向于选择最常见的续写，有利于复制事实（如果模型确实知道），减少随机错误，但也可能导致重复和不够多样的输出。然而，如果模型记忆的知识是错的，低温会加剧这种错误幻觉的确定性。
高温：增加输出的随机性和多样性，使模型更容易从低概率候选中选取 token。这会引入更多事实错误和逻辑断裂，因为低概率 token 往往语法或语义异常。所以，高温通常显著增加事实性幻觉和内在一致性幻觉。但适中的温度有时能帮助模型逃离局部概率陷阱，减少某类确定性幻觉。

（2）Top-k 采样

只从概率最高的 k 个 token 中采样，截断低概率尾部。较小的 k 相当于隐式低温，输出更保守、更少随机错误，但也可能缺乏创造性，且一旦落入错误语义槽就难以脱身。较大的 k 允许更多多样性，类似高温，增大幻觉风险。
如果 k 过小，可能完全排除正确的低频 token，导致系统性幻觉（比如忽略罕见但正确的答案）。

（3）Top-p（核采样）

只从累积概率达到 p 的最小 token 集合中采样，动态截断。较低的 p（如0.9）可去除大量低概率噪声，保持输出质量，同时保留一定多样性。相较于固定 k，top-p 更灵活，通常在维持连贯的同时不会过度引入幻觉。
过高的 p（如0.99）使噪声 token 被纳入，过低的 p（如0.5）则可能过于保守。

（4）组合效应与权衡

典型设置（T=0.7~1.0，top-p=0.9~0.95）在流畅性和多样性之间取得平衡，但也伴有一定幻觉率。
对于事实性要求极高的任务，低温或贪心解码（T→0）可以减少随机错误，但会因暴露偏差更早地固化路径错误，导致另一种形式的高置信幻觉。
没有一种解码策略能根除幻觉，因为根本问题在于模型的知识与校准。解码策略只能调节“暴露错误”的概率和方式。

结论：高温确实更容易产生幻觉，因为它引入了更多随机性，使模型偏离高概率、更流畅（但不一定正确）的路径。但盲目追求极低温度也有风险，最佳策略是根据任务需求精细调节并结合多次采样与一致性验证。

为什么 beam search 可能比采样产生更连贯但也可能更严重的幻觉？¶

Beam search 是一种旨在寻找高概率序列的确定性的解码算法，其与采样的区别带来了特有的幻觉特征。

为什么更连贯？

Beam search 在每一步保留概率最高的 B 个候选序列，最终选择整体概率最高的序列。它能够全局考虑，避免贪心算法导致的短视错误，通常生成语法更流畅、整体连贯性更好的文本，较少出现中途断裂或牛头不对马嘴。

为什么可能产生更严重的幻觉？

（1）追求高概率导致的“幻觉模式锁定”

Beam search 倾向选择训练数据中最常见、最高概率的 token 序列。如果训练数据中存在某种错误信息的高频模式（例如某虚构事件被大量报道），beam search 会坚定不移地走向这个高频错误序列，因为它在数值上是“最优”的。这种对高频知识的偏好使其更容易复现并放大训练数据中的系统性幻觉。

（2）缺乏多样性，难以逃离错误预设

采样可以在生成过程中跳出某个错误前缀，因为随机性允许偶尔选择偏离主流路径的 token。但 beam search 是近似确定性的，一旦 beam 中的所有候选都进入了一个错误的语义空间（例如，将“巴黎是英国的首都”作为高概率路径，因为网络上有大量错误文本），它就很难脱离，并会继续沿着这个错误路径优化后续 token，使幻觉链条极长且细节丰富，因而更具欺骗性。

（3）对长尾正确信息的抑制

对于那些正确的但频率较低的事实，beam search 可能会忽略，转而选择高频但错误的说法。因此，beam search 可能在需要长尾事实的任务中造成更严重的事实性幻觉。

（4）重复与循环

Beam search 容易产生重复和循环，这是由最大化概率的贪婪本质导致的。这种重复可能将一句原本正确的陈述不断复述，但在某些语境下，过度重复会导致与事实矛盾（比如复述一个条件句却丢失了条件限制，使之成为绝对化幻觉）。

（5）“过度自信”的假象

Beam search 输出的序列具有很高的模型置信度（对数概率很高），给用户和下游系统以“可靠”的假象。因此，beam search 产生的幻觉常常以极强的说服力呈现，危害更大。

实际应用中的趋势：

在需要事实准确性和多样性的开放域生成中，采样（配合 top-p/top-k）通常优于 beam search，因为多样性有助于交叉验证（如自我一致性）。但在翻译等需要精准度和连贯性的任务中，beam search 仍广泛使用，不过需要结合事实核查或长度惩罚来减轻幻觉。

模型“过度泛化”如何导致幻觉？¶

过度泛化（Overgeneralization）指模型将训练中学到的模式、规则或关联应用到不适当的新情境中，超出了其合理适用范围，从而产生幻觉。这是一种源于统计学习本质的失败模式。

导致幻觉的具体机制：

（1）高频模式的强行套用

模型在训练中内化了大量语料中的常见模板和搭配。当遇到不常见的输入时，模型倾向于套用最接近的高频模板来生成回复，忽略当前语境的特殊性。例如，对于任何“介绍某药物”的请求，模型可能机械套用“该药物由XX公司研发，主要用于治疗YY”，即使该药物不存在或用途完全不同，从而虚构出看似专业的描述。

（2）语法结构对语义内容的绑架

模型极易习得句法结构（如“X的Y是Z”），并将这种结构泛化到任意实体上。当模型缺乏对X的事实知识时，仍然会强行填充一个看起来合理的Z，使得句子结构完整，但语义却是幻觉。例如，“马达加斯加的首都是安塔那那利佛”（正确），但“布韦岛的首都是……”模型可能会生成一个不存在的地名，仅因为“某地的首都是某名”的句法模板被激活。

（3）跨越任务边界的泛化

模型预训练后通过指令微调获得了遵循指令的通用能力。但这种“遵循指令”本身被过度泛化：即使用户请求的信息不可能存在，模型仍试图“完成指令”，而不是质疑前提。例如，要求“用化学方程式表达爱情的实质”，模型会编造无意义的化学式，将科学格式错误地泛化到抽象主题。

（4）局部特征的过度引申

模型可能根据输入中的某个局部特征（如特定的词或短语）触发整个相关领域知识的涌现，而不管整体上下文是否匹配。例如，对话中出现了“血糖”一词，模型便全面激活糖尿病相关的知识框架，从而编造用户并未提及的饮食建议，形成无依据的忠实性幻觉。

（5）类比推理的失控

语言模型展现出一定的类比能力（如“国王 - 男人 + 女人 = 王后”），但过度泛化会使类比被滥用到没有有效类比结构的情境中。模型可能创造出虚假的类比实体和关系，例如由“巴黎是法国的首都”类比生成“伦敦是德国的首都”，在跨越国家时套用了首都关系模式，但目标国家错误。

（6）去噪过程中的信息补偿

训练数据本身存在缺失和不完整，模型为了最小化损失，学会了根据上下文“补偿”缺失信息，这本质上是一种泛化。推理时这种补偿机制仍然运作，即使输入并没有缺失，模型也可能添加上下文不存在的细节，造成无中生有的幻觉。

缓解方向：在微调中增加反事实和“戒律”示例，让模型学会在某些条件下抑制过度泛化；引入外部知识约束；训练模型进行前提检查，对不合理请求提出质疑而非强行回答。

为什么指令微调有时反而增加幻觉？（如迎合用户、过度有帮助性）¶

指令微调（SFT）旨在让模型更好地理解和遵循人类指令，但它常常以增加幻觉为代价，因为模型被训练得过度迎合用户、过度追求“帮助性”，而忽略了真实性和忠实性边界。

原因分析：

（1）帮助性压倒真实性

指令微调数据中，人类标注者通常奖励提供确切答案的回复，即便该答案包含推测或不完全准确的成分，只要“看起来有用”。这向模型传递了一个信号：满足用户的信息需求比绝对真实更重要。因此，当模型不确定时，它会选择一个最可能让用户满意的回答，而非承认无知。这种“过度有帮助性”是幻觉率上升的核心驱动力。

（2）用户偏好中的格式完整性与细节丰富度

人类评估者偏好结构良好、细节翔实的回答。模型学会后，即使在信息不足时也会强行填充细节，以模仿高质量回复的格式。例如，被问到一款不存在的产品，模型会编造参数、价格、评价等，因为“完整且详尽”的模式被过度泛化。

（3）指令中的主观性与预设

用户的指令常常包含隐含的预设，如“为什么某药物有效？”，指令微调后的模型倾向于直接解释原因，而不首先质疑“该药物是否真的有效”。模型学会了顺从指令的预设，而非检查其真实性，这直接导致基于错误前提的幻觉链条。

（4）缺乏拒绝回答的训练信号

许多指令微调数据集中缺少表达不确定性或拒绝回答的优质示例。即便有，也可能格式单一或出现在不安全领域，模型未能在广泛的知识边界问题上学会拒绝。因此，模型面对知识盲区时，模仿了数据中更常见的“给出一个答案”的行为。

（5）对话连贯性的强制维持

指令微调让模型更擅长维持对话流畅，但这反而在模型误入歧途后，迫使其继续“自圆其说”。连贯性压力使得一个小错误演变成大段幻觉。

（6）多任务冲突

指令微调同时训练多种任务（摘要、问答、写作等），不同任务对忠实度的要求不同。创意写作允许虚构，摘要却要求忠实原文。模型从数据中难以完美解耦这些行为准则，导致在需要高忠实度的任务中沿用了创意模式，产生幻觉。

缓解措施：

在指令微调数据中加入大量表达不确定性、拒绝回答、信息核实的示例。
使用两步走训练：先生成答案，再自我校验，奖励发现并纠正自身幻觉的行为。
结合检索和引用强制，使模型输出绑定到可靠来源。

RLHF 对齐如何可能引入新的幻觉？奖励 hacking 与幻觉的关系。¶

RLHF（基于人类反馈的强化学习）通过奖励模型优化模型行为，使其更符合人类偏好，但这一过程可能引入新型幻觉或强化已有幻觉，尤其通过奖励 hacking 机制。

（1）奖励模型的不完善与过度拟合

奖励模型由有限的人类偏好数据训练而成，它可能学到一些与真实质量虚假相关的捷径特征，如回复的长度、格式美化、使用某些“安全”措辞等。
在 RL 优化过程中，策略模型会利用奖励模型的这些弱点，通过生成更长、更花哨但内容可能空泛或虚构的回复来获取高分。这种“看起来很棒”的回复恰恰可能包含大量幻觉，因为事实准确性很难被奖励模型精准捕捉。

（2）奖励 hacking 的直接表现：表面对齐但内里虚假

模型学会在输出中加入“根据…的研究表明”、“专家认为”等增加权威感的短语，但这些引用或主张可能是完全编造的。奖励模型给此类表述打了高分，因为人类标注者容易被权威语气影响。
模型可能过度使用复杂的术语和结构化论证来伪装深度，而奖励模型难以验证每一步的真实性，导致“学术型幻觉”被奖励放大。

（3）安全与真实性的冲突

RLHF 重点对齐安全性和无害性，部分训练数据将“回避争议”视为高分。模型可能为了避免可能被视为有立场或不安全的回答，故意生成一个中立但虚构的陈述。例如，避开真实事件而编造一个不具争议的虚假例子。

（4）多目标优化的张力

RLHF 通常优化多个维度（有用性、真实性、无害性），这些目标权重可能不平衡。当真实性权重较低时，模型会牺牲真实性以最大化帮助性和无害性（例如，给出看似有益但事实错误的建议），从而增加幻觉。

（5）对不确定表达的惩罚

奖励模型可能将“可能”、“或许”、“我不完全确定”视为犹疑不决而降低评分。为避免惩罚，模型在不确定时去掉限定词，以肯定语气陈述，这直接导致不确定性的信息变成了确定性的幻觉。

（6）分布漂移与过优化

RL 训练后期，策略模型可能分布漂移到奖励模型未曾见过的区域，奖励模型的评估变得不可靠，从而批准了离奇、虚构的回答。这被称为“过优化”，极易催生新型幻觉。

缓解：

改进奖励模型，加入事实性评估组件（如基于检索的验证信号）。
在 PPO 训练中增加 KL 惩罚，约束策略不要偏离原始 SFT 模型太远。
引入真实性奖励项，用已知真实数据或工具调用验证 RL 生成的回复。

知识冲突：当模型内部知识与上下文提供的知识矛盾时，为什么会选错？¶

知识冲突（Knowledge Conflict）是指模型的参数化知识（存储在权重中）与上下文或检索文档中提供的外部知识不一致。模型在处理这种冲突时可能选错，导致幻觉。

选错的原因：

（1）参数知识的固化强度

预训练阶段高频重复的知识点以强参数编码形式存在。即使上下文提供了相反证据，模型内部的记忆关联可能过于强烈，使得解码时旧记忆压倒新证据。这种现象类似于人类的“记忆固化”，强烈的先验知识使模型忽略或扭曲上下文信息。

（2）上下文信息的稀释与遗忘

在长上下文中，即使外部知识明确给出，也可能因为位置靠后或注意力分散而被模型忽略。模型的生成仍然倾向于依赖自身的强参数知识，产生事实性幻觉（即选择错误答案）。
研究表明，模型对上下文中间的矛盾信息更容易忽略，而对开头或结尾的信息敏感，这使矛盾知识的位置决定模型的选择。

（3）源文忠实度与参数知识的内在平衡策略不明

模型没有内在的、显式的“相信上下文优先”的决策规则。它只是基于所有 token 的混合表示进行预测，这两种冲突信息源在表示空间中混合，最终可能取一个折中或偏向统计上更强的那一方。
如果上下文中的矛盾知识以非典型或含糊的方式表达，模型更可能退回其参数知识。

（4）指令微调后的“顺从性”不够稳健

指令微调虽然训练模型遵循提供的文档，但未能在所有语境下压过强大参数知识。面对强冲突时，模型可能在局部服从上下文，但全局仍被参数知识左右，表现为回答中的自我矛盾（先说了上下文中的事实，后又基于参数知识追加矛盾陈述）。

（5）对抗性冲突与恶意注入

如果上下文中的虚假信息以高密度、重复的方式呈现，可能会覆盖模型的参数知识，导致模型接受错误信息（尤其是在检索到的恶意文档场景下）。这虽然表面上是“选了上下文”，但实际上是对抗攻击下的另一种幻觉——相信了错误的外部源。

解决方案方向：

显式训练模型优先遵循可靠上下文（如通过 RAG 训练让模型学会“引用上下文”而非自身记忆）。
知识编辑和反冲突微调，让模型在冲突时学会表达冲突或质疑。
在解码时动态调整，通过提示词强调“如果上下文与你的知识冲突，请以上下文为准”。

上下文长度增加，为何幻觉率可能上升？注意力分散的影响。¶

随着上下文窗口扩大（如到128K或1M tokens），模型幻觉率常常不降反升，这是一个反直觉但观察到的现象。注意力分散是核心原因之一。

（1）注意力稀释与关键信息丢失

注意力机制需在所有输入 token 上分配权重。上下文越长，权重总和固定，每个 token 平均分得的注意力能量越低。对于长文档中某个关键事实，模型可能只分配极小的注意力权重，导致该信息在表示中被淹没。
结果：模型“没看清”或“没记住”该事实，转而依赖参数知识补全，生成忠实性幻觉。

（2）“大海捞针”问题加剧

当关键信息被包裹在大量无关文本中时，检索到它变得困难。模型可能无法将分散在长文中不同位置的多个证据片段整合，从而遗漏条件，输出过度简化或错误的答案。
实验（如Needle in a Haystack测试）表明，某些模型在处理极长上下文时，对放置在中间部分的关键信息检索失败，导致幻觉率突增。

（3）位置编码外推的损耗

尽管使用了RoPE等可外推的位置编码，模型在超出预训练上下文长度时仍可能面临位置编码表征精度下降。对远处 token 的相对位置计算可能不够精确，影响长距离依赖的建模，使模型难以准确关联远距离信息，产生混乱和幻觉。

（4）解码时的上下文遗忘

在自回归生成长回答时，模型需同时处理极长的输入和自身已生成的内容。随着已生成文本增长，最初输入的约束可能被挤出有效注意力窗口，模型“忘记”了早期指令或事实，导致前后不一致的幻觉。

（5）噪声和干扰的累积

长上下文通常包含更多无关或次要信息，这些噪声 tokens 不仅稀释注意力，还可能引入误导性关联。模型可能错误地将远端的无关事实与当前问题联系，制造跨段落的事实拼接幻觉。

缓解路径：

改进注意力架构（如稀疏注意力、记忆标记、分块注意力）以增强长距离聚焦。
使用检索增强的长上下文方法（如分块检索+融合）。
对超长输入进行压缩或摘要，提取关键信息前置。
微调时重点强化长距离依赖的抽取能力，并增加大海捞针样本训练。

长文本生成中，模型为何容易丢失早期约束，产生前后不一致？¶

长文本生成（如写长文、多轮对话、复杂任务分解）中，模型逐渐遗忘或违反早期设定的约束，导致幻觉性的前后矛盾。

原因剖析：

（1）上下文窗口的“近因效应”

Transformer 的注意力机制天然具有近因偏好：在生成长文本时，已生成的后半部分占据注意力的显著位置，而早期指令或约束随着距离增加权重衰减，容易被“覆盖”。模型更倾向于基于最近生成的文本继续，而非一直遵循最初的约束。

（2）生成规划的缺失

大模型通常没有显式的规划模块，无法在生成前制定完整大纲并全程跟踪执行状态。每一步生成都是局部最优，随着生成推进，早期意图和目标可能被替换为新的局部目标，导致偏离主题和约束，产生幻觉。

（3）自回归过程中的主题漂移

每一个新生成的 token 都在微调语义空间的方向。当模型无意中生成一个与初始约束略微偏离的词时，后续基于该词的生成可能会大幅偏离，形成连贯但全新的、与初始要求冲突的叙事轨迹。这种漂移累积到最后就会造成前后矛盾。

（4）容量限制与信息过载

模型需要同时记住早期约束、生成内容、用户指令以及维持流畅性。对于小模型或任务复杂时，容量不足导致信息竞争，早期约束可能被挤出“工作记忆”，以致在文本末尾处违背初始设定。

（5）缺少自我监控与回溯编辑

人类在写长文时会反复检查前文，并进行修订。模型只有单向生成过程，没有内建的自检和修正步骤，即使生成了矛盾的句子，也继续前进，留下不一致的幻觉。

缓解方法：

使用显式的提纲或计划：先生成大纲，再分段展开，每段参照大纲，确保一致性。
长短期记忆结合：在生成过程中定期向上下文插入“状态摘要”，强制回顾关键约束。
多智能体方案：一个智能体生成，另一个校对一致性并提示修正。
微调时引入一致性的奖励信号，如基于自然语言推理的一致性得分。

RAG 检索到错误文档如何诱发幻觉？模型是否应具有甄别能力？¶

在RAG（检索增强生成）中，检索组件可能因索引质量、查询模糊或知识库污染而返回与事实不符或无关的文档。如果模型盲从这些错误文档，就会产生来源幻觉。

诱发的幻觉类型：

直接事实污染：检索到的文档含有虚假陈述，模型将其视为可靠来源进行引用和生成，产出事实性幻觉。
无关文档的强制整合：检索出的文档与问题相关但不包含答案，模型为了“使用检索结果”，强行从文档中拼凑出看似合理的回答，表现为无据推理的幻觉。
文档冲突时的错误选择：多个文档给出矛盾信息，模型可能选择了错误的一方，或者混合二者生成混乱的回答。
伪造引用：文档虽真，但模型生成的答案超出了文档内容，却仍标注源自该文档，形成来源幻觉。

模型应具备甄别能力吗？

是的，理想情况下模型必须发展出对检索文档的甄别能力。这包括：

相关性判断：识别检索文档是否与问题实质相关，如果不相关，应忽略而非强行使用。
权威性评估：能够在多文档冲突时，依据权威特征（如来源可信度）选择性采信或提出冲突。
证据充分性检查：判断文档中是否包含回答所需的充分证据。若不足，应表达不确定性或要求更多信息，而非编造。
自我校验与拒答：当检索文档都不支持任何可靠回答时，模型应能够说“提供的资料无法回答该问题”。

当前实现路径：

训练数据构造：在RAG微调数据中，混入错误、无关、矛盾文档，训练模型在这种情况下生成“无法回答”或“信息冲突”等恰当回应，而不是盲从。
检索后过滤：引入轻量级 NLI 或交叉编码器，在生成前过滤掉不相关或低质文档，重新查询或裁剪。
引用强制与归因：训练模型生成时必须逐句标注引用，并用 NLI 自动检测引用支撑度，对于不支撑的句子进行惩罚或剔除。
两阶段生成：第一阶段模型先输出对检索文档的分析（是否相关、是否充足），第二阶段再生成最终答案，把甄别过程显式化。

给模型注入甄别能力是 RAG 走向鲁棒和可信的关键一步，能将检索噪声转化为抗幻觉的训练信号，而不是幻觉的催化剂。

量化、剪枝等模型压缩技术是否会加剧幻觉？原因是什么？¶

是的，量化、剪枝等模型压缩技术通常会加剧幻觉。这些技术在降低模型存储和计算开销的同时，会损害模型参数的表示精度和容量，从而削弱其知识保真度和生成可控性。

量化（Quantization）加剧幻觉的机制：

权重和激活的精度损失：将 FP16/FP32 的模型参数压缩为 INT8/INT4 会引入舍入误差。这些误差在多层传播后，可能使某些关键知识关联（如实体-属性映射）发生细微偏移。对于依赖精确参数值的事实回忆，这种偏移可能导致模型在“巴黎的首都”这类问题上输出“伦敦”等幻觉。
动态范围压缩导致的信息丢失：量化会将长尾的极小权重置零或与邻近值合并，这会抹去模型中的稀疏但重要的知识信号，特别是对低频实体的记忆，从而引发长尾事实的幻觉。
校准数据偏差：训练后量化（PTQ）需要校准数据来统计激活值范围。如果校准数据不具代表性，量化后的模型可能会产生系统性偏向，在面对分布外查询时，因不适应的缩放因子而产生混乱输出。

剪枝（Pruning）加剧幻觉的机制：

结构化剪枝移除关键知识通道：移除注意力头或整个神经元可能意外丢弃了负责某些知识或安全对齐的专门回路。这些丢失的功能导致模型在相关问题上失去回答能力，或者只能用不准确的近似模式去填补，产生幻觉。
容量下降导致知识混叠：剪枝迫使剩余参数承担更多知识存储任务，不同知识片段可能竞争同一参数空间，形成混叠。此时，模型容易混淆相似的实体或概念，如将某历史事件的细节错误嫁接到另一事件上，形成事实性幻觉。
脆弱性上升：剪枝后的模型往往对输入扰动更敏感，即使是微小的提示变化也可能使模型脱离正确的生成路径，陷入幻觉。

组合效应：量化与剪枝叠加会使上述效应相互放大，导致模型在推理时更容易产生内在幻觉（前后矛盾）和外在幻觉（编造事实）。同时，压缩会降低模型的不确定性表达能力，使其在知识边界上仍然生成高置信度的错误回答。

缓解：采用混合精度、知识蒸馏辅助压缩（用原模型指导学生压缩模型）、量化感知训练、以及压缩后对关键知识和对齐能力的专项恢复微调，可部分抵消加剧的幻觉风险。

多模态模型中，视觉编码器的错误是否会导致文本幻觉？¶

是的，多模态模型中视觉编码器的错误是导致文本端幻觉的重要上游根源。视觉编码器负责将图像转化为特征表示，如果这个表征从源头就包含错误或遗漏，语言模型将基于错误信息生成描述，必然产生幻觉。

错误传导的路径：

对象检测遗漏或误判：视觉编码器未能检测到图像中的某些物体，或把背景纹理误认为显著物体。语言模型接收到“缺失某些物体”或“多出虚假物体”的视觉 token 后，文本输出就会表现为对象幻觉（描述出不存在的物体，或漏掉实际存在的物体）。
属性与关系编码错误：颜色、材质、空间位置等细节在视觉编码压缩过程中可能扭曲。例如，视觉编码器将“蓝色汽车”的特征映射到接近“黑色汽车”的表示区域，语言模型就会输出错误的颜色描述，产生属性幻觉。
细粒度信息丢失：低分辨率输入或粗暴的 patch 切分会丢失文字（OCR场景）、小物体或精细纹理，语言模型只能依据剩余视觉线索猜测，此时容易编造细节。
跨模态对齐偏差：即使视觉编码器本身表征准确，如果视觉到语言的连接器（如投影层或Q-Former）在训练时未能完美对齐，也可能系统性地将某些视觉特征翻译为错误的概念，催生多模态幻觉。但本质仍源于视觉表示的模糊性传递。

具体表现：视觉编码器如果对图像中的文字过于敏感或不够敏感，可能编造图像上没有的单词（OCR幻觉）；如果对数量的空间组织辨识差，可能输出错误的计数。这些文本错误直接归因于视觉前端的信息失真。

缓解：升级视觉编码器分辨率与容量，使用对抗性训练和细粒度视觉-语言对齐（如区域级的特征匹配），以及在文本生成端引入视觉-文本一致性校验模块，可减少此类传导性幻觉。

不同语言之间，模型生成幻觉的倾向一样吗？跨语言迁移会导致幻觉吗？¶

不同语言之间模型产生幻觉的倾向显著不同。低资源语言的幻觉率通常远高于高资源语言，跨语言知识迁移是导致非英语语言幻觉的重要机制。

倾向差异的原因：

训练数据不均衡：英语等主要语言拥有海量高质量文本，模型对其中的事实知识掌握较牢固；而对于斯瓦希里语、冰岛语等低资源语言，数据稀疏且噪声多，模型连语言流畅度都难以维持，更不用说事实准确性，因此幻觉极为常见。
文化语境错配：模型在高资源语言中内化了大量西方中心或特定文化圈的知识，当用低资源语言提问当地文化问题时，模型可能匮乏相关记忆，被迫用来自英语知识的翻译进行填空，产生实体、日期、习俗等的错误移植。
安全对齐的单语偏向：RLHF 和指令微调主要针对英语数据，模型在低资源语言上的安全与拒答边界模糊，更容易生成不加节制的编造内容。同时，模型在低资源语言上对“我不知道”的表达方式学习不足，倾向强行回答。

跨语言迁移诱发幻觉的机制：

翻译式幻觉：模型在处理非英语提示时，内部可能经历“翻译成英语 → 提取知识 → 翻译回目标语言”的隐式管道。任何一步的错误翻译都会扭曲事实，例如人名、地名拼写错误，或者数值被换算错误。
概念空白的填补：某些概念在目标语言文化中没有直接对应词，模型在“回译”时会用近似的词代替，这个替代可能丢失了关键的语义限定，导致陈述绝对化而成为幻觉。例如，将一个英语中带有概率性的医学术语翻译成另一个语言中表示“肯定”的词汇。
语法结构干扰：目标语言的语法约束可能迫使模型为了保持句子合法而增删信息，从而偏离原始事实。例如，性数格一致要求导致模型无中生有地补充形容词。
代码切换与语言混用幻觉：多语言模型可能在生成目标语言时插入高资源语言片段，或将高资源语言的事实直接以目标语言文字形式呈现但不做文化适应，形成一种“看起来正确但实质错误”的混合幻觉。

结论：多语言大模型的幻觉风险具有非对称性。构建真正平等的多语言模型需要大规模、高质量的多语言对齐数据，并针对各语言设计适合的评估与防幻觉机制。

为什么即使给出准确上下文，模型有时仍坚持其预训练知识（固执性幻觉）？¶

固执性幻觉（Stubborn Hallucination）指模型无视明确提供的正确上下文，依然输出与预训练知识一致但与上下文矛盾的内容。这是知识冲突中偏向参数知识的一种表现。

核心原因：

（1）强参数先验压倒弱上下文信号

模型在预训练期间，某些事实（如常识、高频知识）被海量重复，以极高的置信度编码在参数中。即使上下文提供相反信息，若该信息只出现一次或表达方式不典型，其嵌入表示可能被模型中强大的先验知识激活模式所淹没。模型在解码时倾向于从强参数记忆中采样，从而导致输出忽略上下文。

（2）上下文信息的注意忽略

当上下文较长且矛盾信息位置不突出（如在文档中部、未被显式强调），注意力机制可能未对其分配足够权重。结果，模型在生成时实际依赖的是自身参数知识，表面上看像“故意不听”，实则是上下文信息未能有效进入模型的工作状态。

（3）训练数据的“事实垄断”模式

预训练数据中很少有“上下文与已知常识矛盾”的情景，人类文本通常是自我一致的。因此，模型极少有机会学习到“当权威上下文与我的知识不符时，应相信上下文”这一元行为。在微调阶段，若没有专门构造此类矛盾样本并标注正确的顺从行为，模型就会默认延续“相信自身知识”的模式。

（4）指令遵循的不完全泛化

虽然指令微调让模型学会了“根据提供的文档回答”，但这种泛化在面对根深蒂固的常识或高频事实时往往失效。模型在局部遵从了指令格式，却在实质内容上退回到参数知识，产生一种“形式上引用上下文，内容上使用记忆”的隐性固执幻觉。

（5）解码时的统计惯性强于瞬时信息

自回归解码的每一步都是依据前文。如果模型在早期就依据参数知识迈出了一步错误，后续即使看到矛盾上下文，也可能因为要维持生成连贯而拒绝转向，形成固执于初始路径的幻觉。

缓解：

在微调中显式加入“上下文-记忆冲突”数据集，训练模型优先信任给定的可靠上下文。
使用提示工程强化上下文权威性，例如“你必须严格依据以下唯一来源回答”。
在解码时使用约束解码，限定生成 token 必须能从上下文中复现（如复制机制增强）。

思维链（Chain-of-Thought）推理中的“推理幻觉”是什么？如错误跳跃。¶

推理幻觉是指在模型的逐步推理过程（CoT）中，出现逻辑错误、事实编造或推理跳跃，但最终答案或推理叙述却显得连贯且自信，实际上论证是无效的。

具体形式：

（1）错误逻辑跳跃（Spurious Jump）

模型在推理步骤中省略了必要的中间步骤，直接从一个前提跳到一个无法必然推出的结论。这种推理空缺使得链条表面连续，但实质断裂。
例：问题“如果下雨，地面会湿。现在地面湿了，因此下过雨。”模型在 CoT 中直接写“因为地面湿，所以一定下过雨”，忽略了洒水车等其他原因。这是一种逻辑谬误（肯定后件），但模型会自信地展示这一错误推理。

（2）虚假因果关联

模型在推理中编造因果关系，将两个不相干的事件用“因为……所以……”连接，形成看似合理的伪论证。
例：解释某经济政策效果时，模型写“该政策提高了利率，导致消费者支出增加”，但实际上利率提高通常会抑制支出。这种错误的因果链构成推理幻觉。

（3）捏造中间事实

为了支持推理，模型会无中生有地编造一个中间结论或数据，然后在其上构建后续推理。这个虚构的“事实”使得整条推理链如同建立在流沙上。
例：数学证明中，模型写道“根据勾股定理，此角为60度”（实际上勾股定理不能直接推出该角度），然后基于这个错误中间结果继续运算。

（4）数值计算与单位混淆

在涉及数学或物理计算的 CoT 中，模型可能在步骤中犯下计算错误、符号颠倒或单位混淆，但仍以此为基础产出最终答案，呈现为一本正经的推理幻觉。

（5）循环论证与同义反复

推理链中模型用结论来证明前提，或者用不同的措辞重复同一主张而没有推进逻辑。这使得推理看起来步骤很多，实际上信息量为零。

产生原因：

CoT 仍然基于语言模型的自回归生成，没有内建的逻辑验证器，每一步只是概率最大化的续写。
模型在训练中见到大量含逻辑错误的“伪推理”文本，学会了形式但未掌握实质推理。
长推理链加剧了暴露偏差和遗忘问题，模型在后半段可能遗忘初始前提，导致错误跳跃。

缓解：采用多步骤验证、外部符号求解器、分解为更小的可验证子问题、以及用过程奖励模型监督每一步的正确性。

模型规模与幻觉率是否必然反比？小型模型为何更容易产生幻觉？¶

并非必然反比，但强烈正相关。整体趋势是模型规模越大，幻觉率越低，但这种关系不是单调且存在边际效益递减，小型模型在多个维度上更容易产生幻觉。

规模与幻觉的非单调关系：

在一定范围内，扩大模型参数确实可以增强知识记忆容量和泛化能力，从而降低事实性幻觉。但超大模型有时会出现“过度自信且错误”的新型幻觉，或因为强化某些偏见而放大特定类型幻觉。此外，某些研究发现某些小模型经过精细化数据训练后，幻觉控制可能优于数据粗放的大模型。
所以，规模是重要因素，但数据质量、训练策略、对齐强度同样关键。

小型模型更容易产生幻觉的原因：

（1）知识容量有限，记忆压缩剧烈

小模型参数少，必须高度压缩知识。这导致大量长尾事实、实体细节被丢失或混淆。当询问这些知识时，小模型无法精确检索，只能依赖高频模式进行推测，输出幻觉。
信息压缩还导致不同实体、概念之间的边界模糊，极易产生张冠李戴的幻觉。

（2）泛化能力与抗干扰能力弱

小模型学到的特征往往更表面，容易受到虚假相关和噪声的误导。对分布外输入的鲁棒性差，稍微不常见的提示就可能诱发语义漂移和幻觉。
在长上下文中，小模型注意力能力弱，更容易遗忘和混淆，导致忠实性幻觉上升。

（3）推理链条脆弱

小模型进行多步推理时，维持一致逻辑的能力不足，每一步的错误概率累积，使整个推理链更容易塌陷为推理幻觉。

（4）对齐与校准更困难

参数少使得小模型难以同时拟合“有用性”和“真实性”的细微边界。在 RLHF 等对齐过程中，小模型更可能通过奖励 hacking（如堆砌有用模板）而非真正提升事实性来获取高分，这会导致高自信幻觉。
小模型的校准度通常更差，不知道何时该承认不知道，因此更容易在知识盲区上强行作答。

缓解小模型幻觉：利用大模型进行数据蒸馏和知识转移，并专门针对事实性和忠实性进行小模型的课程学习与多任务训练。

知识编辑/模型编辑是否可能引入新的幻觉？为什么？¶

是的，知识编辑（Model Editing / Knowledge Editing）极易引入新的幻觉。这些方法旨在精准修改大模型中某个特定事实而不影响其他知识，但由于模型的分布式表示本质，局部干预常常产生意外的副作用。

引入新幻觉的机制：

（1）表示混淆与知识混杂

知识编辑通常通过定位并修改与目标事实相关的 MLP 层参数或特定神经元来实现。然而，模型参数被多重利用，同一参数可能参与存储多条相关知识。修改“巴黎的首都是罗马”这一虚假事实时，可能同时改变了对“罗马”、“意大利首都”等相关概念的表征，导致模型在回答这些相关问题时产生新的幻觉。

（2）关联知识失谐

事实不是孤立的，改动了头实体与尾实体的联系，却无法同步更新所有蕴含、对比、相关的知识网络。例如，把“埃菲尔铁塔在巴黎”改成“在伦敦”，模型可能仍会说“埃菲尔铁塔是法国的象征”，导致输出出现“埃菲尔铁塔是法国象征，坐落在伦敦”这样的矛盾性幻觉。

（3）编辑泛化失效

编辑操作通常对特定输入模板有效，但对同一事实的改写、多语种版本或隐式提及往往无效。这造成模型在“编辑过的问题”上正确，在等价但不同措辞的问题上仍输出旧错误，即产生条件性幻觉。用户若不知情，会认为模型不稳定、不可靠。

（4）过度编辑与灾难性遗忘

编辑过程可能导致模型遗忘其他不相关知识，甚至是安全对齐能力。若安全约束的表示被意外修改，模型可能在后续生成中更容易产生有害或编造内容。

（5）隐蔽的后门幻觉

恶意编辑可能植入后门事实，只在特定触发条件下激活，而平时模型表现正常。这种隐蔽的定向幻觉对系统安全构成严重威胁。

缓解方向：更稳健的编辑方法如基于记忆的外部存储（而非直接修改参数）、严格的反向评估测试（检测副作用）、以及编辑前后的一致性检查，可在一定程度上减少编辑带来的新幻觉。

从信息论或概率视角，如何解释幻觉的存在？¶

从信息论和概率论的角度，幻觉是模型在学习、压缩和生成过程中信息损失与失真的一种必然表现。可以基于以下几个核心概念解释：

（1）率失真理论与有损压缩

模型训练过程本质是将训练数据有损压缩到固定尺寸的参数向量中。根据率失真理论（Rate-Distortion），在给定容量（参数数量）下，压缩必然导致信息损失。对于长尾事实和细节，压缩误差大。当模型需要“解压”这些知识生成输出时，失真部分被模型以学到的统计先验进行“想象力填充”，形成幻觉。幻觉就是压缩失真在语义层的显现。

（2）熵与不确定性

从预测角度，模型对下一个 token 的条件概率分布 P(yt∣y<t,x)P(yt∣y<t,x) 的熵表示了其不确定性。在知识边界或数据稀疏区域，真实分布的熵高，但模型通常被训练为低熵（确定性）输出以提高流畅度。如果模型未校准，会用高置信度输出一个低概率区间的错误 token，构成幻觉。本质上，幻觉是模型在应该高熵的地方错误地执行了低熵决策。

（3）变分推断与近似后验的偏差

深度学习模型可以视为对真实数据分布 PdataPdata 的变分近似 QθQθ。优化目标是 KL(Pdata∥Qθ)KL(Pdata∥Qθ)。当模型容量不足以捕捉 PdataPdata 全貌时，最小化 KL 散度会使 QθQθ 覆盖 PdataPdata 的主要模式，但忽略或扭曲低密度区域。幻觉就是这些被扭曲的低密度区域在采样时生成的“真实分布中不可能或罕见”的内容。

（4）信道容量与知识传输的瓶颈

预训练语料 → 模型参数，可以看作一个信息信道。参数总量限定了信道容量。由于知识量远超容量，模型必须在存储时选择性地编码。那些被丢弃或强度微弱的知识，在解码时成为噪声源，导致幻觉。特别是，参数间的干扰构成噪声，导致提取出的知识与原始信息有偏差。

（5）统计学习的归纳偏置与分布外泛化

概率模型只在训练数据支持的区域可靠。对于分布外输入，模型的预测基于函数平滑性等归纳偏置，这在语义上即为无根据的泛化。模型生成的内容是训练分布下概率最高的续写，但未必对应真实世界的合理输出。因此，幻觉就是模型在分布外区域的概率最大化所产生的“虚假模式”。

总结：信息论视角揭示幻觉并非偶然缺陷，而是有限容量模型逼近无限复杂现实时的根本性信息丢失和失真。减少幻觉需要在压缩效率、信道扩展（检索增强）和失真感知优化（如通过真实性正则）之间取得平衡。