江宁网站建设/最新国际新闻热点事件

本文记录大模型幻觉问题的相关内容。
参考：Mitigating LLM Hallucinations: a multifaceted approach
地址：https://amatriain.net/blog/hallucinations

（图：解决大模型幻觉的不同方式）

什么是幻觉？

幻觉(Hallucination)指生成内容与源数据不一致或无意义，可分为内生幻觉和外在幻觉（参考Paper：Survey of Hallucination in Natural Language Generation）。

• 内在幻觉：生成内容与源数据相矛盾，引入了事实错误或逻辑不一致的情况。
• 外在幻觉：生成内容与源数据没有矛盾，但也并不能根据源数据进行验证，添加了可能被视为推测性或无法证实的元素。

为什么产生幻觉？

LLM通过预训练来预测下一个token，没有正确/错误的概念，仅仅是基于概率来生成文本。虽然这导致了一些意外的推理能力，但这仅仅是这种基于概率的逐标记推理的结果。指令微调和RLHF确实能让模型更偏向事实，但并没有改变LLM的机制及缺陷。

LLM已经在整个互联网、图书、问答和百科等许多数据集上进行了训练。它们在训练集中有正确和错误的知识。模型回答偏向于它们见过最多的内容。比如提问一个医学问题，而且问法跟某个帖子差不多，那可能就会得到跟训练集里那个帖子大致一样的答案。

在一篇最近的题为 Sources of Hallucination by Large Language Models on Inference Tasks 的论文中，作者展示了LLM训练数据集的两个方面导致了幻觉的产生：真实性先验（veracity prior）和相对频率启发式（relative frequency heuristic）。

如何评测是否有幻觉？

幻觉评测的五个步骤

1. 准备基准数据：也就是给出大模型生成的参考答案；
2. 准备测试集：包括随机通用测试集 + 对抗性攻击样本；
3. 提取断言：可以用手动、规则、机器学习等方式；
4. 验证：确保大模型生成的东西跟基准数据对齐；
5. 评价指标：可以用基准错误率（Grounding Defect Rate）评估，即跟基准答案不一致的数量除以测试集总数量。

幻觉的常用度量标准和方法

包括统计学方法、基于模型的方法、基于规则的方法、人类评价、。

• 统计学方法：ROUGE、BLUE 计算文本相似性；PARENT、PARENT-T、Knowledge F1 评测结构化数据。局限性：主要关注内在幻觉，无法捕捉句法和语义的细微差异。
• 基于模型的方法：用IE模型抽“主体-关系-对象” 然后做验证。
  • QA-based Metrics：认为对于同一个问题，如果上下文与训练数据一致，就会生成类似答案。因此计算生成内容和训练集的一致性。（参见：Evaluating Factual Consistency in Knowledge-Grounded Dialogues via Question Generation and Question Answering）
  • NLI-based Metrics：用自然语言推理（NLI）数据集训模型，计算生成的“假设”在给定的“前提”下是真、假、不确定。（参见：Evaluating Groundedness in Dialogue Systems: The BEGIN Benchmark）
  • Faithfulness Classification Metrics：用针对特定任务的数据集训个忠诚度分类的模型，来改进NLI模型的性能。（参见：Rome was built in 1776: A Case Study on Factual Correctness in Knowledge-Grounded Response Generation）
• 人工评价方法：一是对幻觉程度打分；二是对比生成答案和参考答案哪个好。（人工评价很重要，但同时也要找红队攻击模型，参考：“Red Teaming Language Models with Language Models”）
• FActScore：可用于人工+模型的评估。该指标将LLM生成结果分解为“原子事实（atomic facts）”。最终得分是每个原子事实准确性的总和，每个原子事实都被赋予相等的权重。准确性是一个二进制数字，简单地表示原子事实是否由来源支持。作者实施了不同的自动化策略，利用LLM来估计这个指标。
  

如何缓解大模型幻觉？

本节探讨各种幻觉缓解策略。

产品侧

产品设计的时候去避免大模型生成幻觉内容，比如在生成书面内容时关注观点类文章，而不是事实类文章，有助于降低幻觉。

• 用户编辑：让用户编辑大模型生成的内容
• 用户责任：告诉用户对生成内容负责
• 引文参考：给用户展示引用的内容
• 可选模式：比如精准模式（以计算成本为代价）等
• 用户反馈：收集用户反馈（赞踩）用于迭代模型
• 限制输出和轮数：更长更复杂的输出更容易幻觉
• 结构化输入输出：预置一些结构化模版

数据侧

维护一个动态数据库专门记录各种幻觉，用于回归测试。而且要注意数据隐私安全。

模型侧

• 换模型：更大参数量的模型更不容易幻觉
• 调参数：temperature越小，模型更加接近高概率的token，越不容易幻觉
• RLHF：能降低尤其是领域微调过的模型的幻觉
• 指令微调：针对需求的任务数据做微调

Prompt Engineering

通过 Meta prompt 引导大模型 “不该做什么” 有助于降低幻觉。

控制幻觉的一般思路

• 简化复杂任务，将任务分解并描述清楚
• 内置一些 meta prompt，比如“不要捏造事实”等话术
• Few-Shot Learning，添加几个例子
• 对模型生成结果进行后处理

调整 MetaPrompts

• 强调的语气：把需要强调的内容全大写或者突出强调
• 更多上下文：提供更多背景知识
• 细化输出：重新评估初始输出结果并调整
• 引用：让模型证实自己的观点
• 转化任务：让模型做摘要总结而不是做问答
• 选择性处理任务：有些任务必须强依赖事实回答
• 反复强调关键点：prompt的最后多强调几遍关键点
• 回顾输入内容：要求模型回顾重要的输入细节
• 使用算法过滤：筛选和优先考虑相关的信息

思维链（Chain of Thought）

思维链由 “Chain-of-Thought Prompting Elicits Reasoning in Large Language Models” 提出，因为LLM用来预测下一个token的概率而不是推理，所以指定模型生成推理步骤可以让模型更接近推理。

RAG：检索增强的生成（Retrieval-Augmented Generation）

先检索，后生成。但RAG会过度依赖空或错误的检索结果导致幻觉，因此注意事项：

• 空结果：对于空结果可以回复 “很抱歉，我们没有关于此主题的足够信息。你能换个说法吗？” 或者重新检索；
• 模棱两可的结果：比如问“李华是谁” 这种可能有多重结果的问题时，可以引导用户进一步描述想问干嘛的李华；
• 错误结果：作为外部知识模型很难鉴别，需要提高检索组件的准确性。

高级 Prompt Engineering 方法

• Self-consistency：来自论文 “SelfCheckGPT: Zero-Resource Black-Box Hallucination Detection for Generative Large Language Models”，思想是让模型针对同一 prompt 生成多个回答，然后用大模型本身去判断这些回答是否一致，或者结合 BERT-Score、N-gram 等计算。
  
• Reason and act (ReAct)：Google 在 “ReAct: Synergizing Reasoning and Acting in Language Models” 提出的用于缓解 CoT 幻觉的方法，一步步生成 Thought 和 Action，有点像 Agent。
  
• Reflection（反思）：直接问大模型对之前回答的内容是否笃定。还可以把反思过程作为长期记忆存起来强化反思过程。
• Dialog-Enabled Resolving Agents (DERA)：Decider生成答案，让Researcher跟Decider这个Agent一起讨论这个答案，然后让Decider根据他俩的讨论结果调整答案。
  
• Chain-of-Verification (COVE)：Meta最近提出的利用LLM生成多个回复并进行自我验证的变体。如下图所示，模型首先（i）起草一个初始回复；然后（ii）生成验证问题；（iii）独立回答这些验证问题，以避免答案受到其他回复的影响；（iv）生成最终经过验证的回复。
  

总结

减轻幻觉需要多种手段综合应用，但完全消除难度非常大。Yann Lecun 认为，如果不完全重新设计底层模型，就无法解决这个问题（然而 OpenAI 首席科学家 Ilya Sutskever 并不同意）

---

参考资料：
[1] Mitigating LLM Hallucinations: a multifaceted approach：本文主体内容。
[2] 如何解决LLM大语言模型的幻觉问题？- 知乎：收集模型回答错误的问题，然后训模型的拒答能力。
[3] 大模型幻觉评估方法——忠实性（Faithfulness）与事实性（Factuality）