🧠 基础概念

幻觉（Hallucination）

别名：模型幻觉编造事实错误ConfabulationFabrication

幻觉指 LLM 生成看似合理但与事实、上下文或用户输入不符的内容。在 Agent 场景中，幻觉可能转化为错误的工具调用、虚构的文件路径或伪造的引用，危害被显著放大。

关键要点 ✦

幻觉根植于自回归生成：模型基于概率预测下一个 Token，而非「查询真相」。当训练数据缺覆盖、上下文模糊或问题超出知识边界时，模型会用流畅的语言填补未知。

在 Agent 中，幻觉体现为：虚构 API 参数、编造不存在的文件、错误地声称「已发送邮件」。由于 Agent 有执行权，文本幻觉直接升级为动作幻觉。

① 检索增强（RAG）：用真实文档约束生成，减少无依据编造。② 工具校验：生成后调用验证工具（如查数据库、跑测试）确认事实。③ 引用溯源：要求模型标注每个论断的来源，便于人工复核。

④ 自我反思 / 交叉验证：让模型或另一 Agent 复核结论；⑤ 约束解码：在代码、JSON 等结构化输出中限制合法取值。

幻觉率需在具体领域分别评估：通用问答可用 FactScore、SelfCheckGPT；代码场景看编译/测试通过率；知识问答常用 GPQA、SimpleQA 等事实性基准。

关键是区分「无知（不知道）」与「编造（自信错答）」——后者危害更大，因为它欺骗了使用者的信任。

医疗/法律问答

错误事实可能致命或违法，需强检索 + 人工复核兜底。

代码生成 Agent

幻觉路径/API 导致运行失败，靠编译与单测卡住。

企业知识助手

以内部文档为 Grounding，禁止模型凭空作答。

随着推理模型与工具闭环普及，「生成即验证」将成为默认范式；但彻底消除幻觉在开放域仍不现实，行业正转向「可控幻觉」——把风险隔离在可校验的动作边界内。

🏷️ 标签幻觉Hallucination事实性Grounding评测安全