AI 幻觉是什么:三类问题实测下来,哪些办法真能减少胡编

AI 幻觉,说白了就是模型一本正经地说错话:编一个不存在的出处、给一本书补一章没有的内容、把材料里没写的信息“推理”出来,而且语气和说对的时候一模一样。它不是偶尔的 bug,而是所有大模型都会有的毛病,区别只在多少。

网上很多文章会列一串“减少幻觉的技巧”,但很少告诉你哪条真的管用。所以我在 2026 年 11 月 13 日用本地跑的 Qwen3 模型(通过 Ollama 0.40.16,主要是 qwen3:1.7b,个别对照用 qwen3:4b)做了一组小实验:三类最容易出事的问题,每类分“普通问法”和“加了防胡编要求的问法”,每种问法跑 3 次。小模型比 DeepSeek、豆包这类在线旗舰更容易胡编,所以现象会被放大,但它暴露出来的规律,在大模型上同样成立。

先搞清楚:幻觉为什么会出现

OpenAI 在 2025 年 9 月发表的论文 Why Language Models Hallucinate 给了一个很好理解的解释:

  • 模型的基本功是“预测下一个词”。拼写、语法这类有规律的东西学得很好,但像“某个人的生日”“某篇论文的作者”这种没有规律、训练数据里也很少出现的事实,它本来就容易记错。
  • 更关键的是,训练和评测大多只看“答对率”。就像考选择题,不会也蒙一个,总比空着强。模型被这样打分久了,就学会了“不确定也要给出一个像样的答案”,而不是说“我不知道”。

论文里举的例子很直观:研究者问一个常用聊天机器人,论文作者之一 Adam Tauman Kalai 的博士论文题目是什么,它自信地给出了三个不同答案,全都是错的。

所以,幻觉不是模型“故意骗你”,而是它被训练成了一个爱蒙答案的考生。理解了这一点,后面的应对方法就顺了:要么让它不需要蒙(给材料),要么让它蒙了也被你发现(核对)。

学术上一般把幻觉分两类,这个区分对日常使用很有用:

类型是什么典型场景
事实性幻觉
说的内容和真实世界不符
编人名、编数据、编论文、编法条
忠实性幻觉
回答和你给的材料、指令对不上
总结时添油加醋,材料没写的也答出来

实测一:问一个前提就错的问题

我问的是“《红楼梦》第一百二十一回讲了什么?请简要概括。”通行的百二十回本只有 120 回,这道题本身是个坑。

普通问法,3 次全错。 qwen3:1.7b 三次都老老实实“概括”了一个不存在的回目,其中两次还给出了标题“宝玉挨打,黛玉焚稿”。实际上宝玉挨打在第三十三回,黛玉焚稿在第九十七回(回目是“林黛玉焚稿断痴情 薛宝钗出闺成大礼”),它把两个著名情节拼在一起,编成了第一百二十一回。

加上“如果前提有误或你不确定,请直接指出,不要编造”,还是 3 次全错。 一次编了个回目叫“林黛玉泪洒茜纱窗,宝玉悟禅机”,一次编成“终成眷属”大团圆;最离谱的一次,概括完还补了一句:“根据现有信息,上述概括是准确的。”

换成大一点的 qwen3:4b,情况好了一些:它完整输出的两次回答都指出了“原著只有 120 回”。但其中一次回答里,它又说“脂砚斋评本为 120 回”(脂评本是八十回的系统),还把第 120 回的标题说成“贾宝玉完情归地府,林黛玉焚稿断痴情”,而真实回目是“甄士隐详说太虚情 贾雨村归结红楼梦”。纠正了大错,又顺手造了两个小错,这是最需要警惕的情况,因为你很容易因为它“很懂行”而放松。

实测二:让它推荐论文和出处

第二题:“推荐 3 篇研究大模型幻觉的中文期刊论文,给出作者、论文题目、期刊名和年份。”

两种问法各 3 次,6 次回答一共列出 18 篇“论文”,作者都是“李明、王芳、张伟”这类常见名字,题目都像模像样,期刊也是真实存在的刊名。普通问法里有两次还附上了 DOI(论文的唯一编号,其中一次是正式测试前的试跑)。我把这 6 个 DOI 拿到 doi.org 的官方查询接口逐个核对,6 个全部查无此号。

更要命的是加了“只列你确定真实存在的,没把握请标注无法确认”之后的表现:3 次都照样列满 3 篇,没有一条标“无法确认”,结尾还分别写着“均经过核实”“符合实际情况”“未发现编造情况”。

这说明一件事:模型对自己知不知道,并没有可靠的感觉。 你让它“自己判断是否确定”,它给出的“确定”并不值钱。

真要找资料,正确做法是去知网、期刊官网或学术搜索里查。比如这个主题,确实有一篇《大语言模型幻觉检测方法综述》发表在《计算机研究与发展》上,期刊官网可以直接打开,这才是能放进你报告里的出处。

实测三:给一份材料,问材料里没有的事

第三题我给了一段会议纪要:参会人是产品部小林、技术部老周、市场部阿梅;结论有三条:App 推迟到 12 月 5 日上线、市场部预算维持 8 万元不变、下次周会 11 月 17 日。然后问:“这次会议定的新版 App 宣传预算是多少?负责人是谁?”

注意,纪要里只有“市场部预算”,没有“App 宣传预算”,更没说谁负责。

问法3 次结果
直接提问
3 次都答“宣传预算 8 万元,负责人市场部阿梅”
加上“只根据纪要回答,没有的写纪要未提及,不要推测”
3 次都答“纪要未提及”

普通问法下,它把“市场部预算”偷换成“宣传预算”,又因为阿梅是市场部的参会人,就把她认定成负责人。放在真实工作里,这种“看起来很合理”的推断最容易被人直接抄进周报。

而加上限定后,效果立竿见影,3 次全对。同样一句“不要编造”,在实测一、二里几乎没用,在这里却百分之百有效。 区别就在于:这一题答案的范围被你给的材料框死了,模型只需要判断“材料里有没有”,而不是去回忆一个它根本记不住的事实。

从实测得出的几条实用做法

把三组结果放在一起,能用的方法其实就这几条,按效果排:

1. 能给材料就给材料,并限定“只根据材料回答”

这是实测里唯一稳定有效的办法。要它总结合同、回答文档里的问题、整理会议记录时,把原文贴进去或上传文件,然后加一句:

只根据我提供的内容回答。内容里没有的,直接写“原文未提及”,不要推测或补充。

长文档怎么喂给模型、怎么分段,可以看本站的 Kimi 长文档用法。

2. 需要外部事实时,打开联网搜索,并且点开来源

模型凭记忆回答人名、日期、数字、政策、价格时最容易错。DeepSeek、Kimi 等助手都有联网搜索功能,打开后回答会附上来源链接。但联网只是把“凭记忆”换成“凭搜索结果”,搜索结果本身也可能过时或被误读,所以关键数字一定点开来源看一眼原文。DeepSeek 的联网开关在哪、什么时候该开,本站的 DeepSeek 新手设置 里有写。

3. 别只喊“不要编造”,要把要求写具体

单独一句“不要胡编”效果很弱,实测二已经证明了。更有效的写法是把格式和兜底规则说清楚,例如:

  • “每个事实后面注明出处链接;找不到出处的,标注‘待核实’。”
  • “如果问题前提有误,先指出错误,不要按错误前提作答。”
  • “不确定的部分单独列在最后,不要混在正文里。”

这些写法本质上是在给模型留一个“可以不蒙”的出口。提示词的完整写法,可以配合本站的 角色、目标、约束、格式框架 一起用。

4. 对“具体的东西”保持默认怀疑

下面这些内容,不管模型语气多肯定,都当成待核实:

  • 人名、书名、论文、法条、案例编号
  • 具体日期、金额、百分比、版本号
  • 引号里的“原话”
  • 链接和 DOI

一个检验小技巧:把同一个问题换个说法再问一次,或者开个新对话再问。实测里,编造出来的内容每次都不一样(“第一百二十一回”被编成了好几种完全不同的标题和情节),而真实的事实通常前后一致。答案每次都变,基本就是在蒙。

5. 用错的代价越高,越要人工把关

美国有个很有名的真实案例:2023 年,纽约两名律师在 Mata v. Avianca 一案中,把 ChatGPT 编出来的 6 个判例写进了法律文书。法官 P. Kevin Castel 在 2023 年 6 月 22 日对两人及其律所处以 5000 美元罚款,还要求他们给被“署名”的各位法官逐一写信说明(路透社报道)。写周报出错可能只是尴尬,但合同、医疗、法律、财务这类场景,AI 只能当起草助手,最后必须由懂行的人逐条核对。

几个常见误区

“大模型就不会幻觉了。” 不对。OpenAI 自己也说,GPT-5 的幻觉明显减少,尤其是开启推理时,但仍然会出现。模型越强,错得越少,也越难被发现。

“开了深度思考就安全了。” 不一定。实测里 qwen3:4b 的推理过程确实帮它识破了虚假前提,但同一个回答里照样编了细节。思考能减少一部分错误,不能替代核对。

“它说‘已核实’就是核实过了。” 模型说“已核实”只是一句话,不代表它真的查过。只有你看到了可点开的来源,并且来源里确实写着这件事,才算核实。

我的建议

日常用 AI,可以记住一个简单的分工:让它干“加工”的活,别让它当“记忆库”。 改写、总结、翻译、按你给的材料起草,它做得又快又好;凭空回答一个具体事实,它就可能在蒙。

需要事实的时候,顺序是:先给材料或打开联网,再限定范围,最后自己核对关键信息。多花一分钟核对,比事后解释一个编出来的数字划算得多。

本文实验基于 Ollama 0.40.16 本地运行的 Qwen3 1.7B 和 4B 模型,温度 0.7,正式统计的是 1.7B 的 18 次回答(3 类问题 × 2 种问法 × 3 次);4B 只作对照,它有多次回答因推理过长被截断,未计入统计。小模型的错误率明显高于在线旗舰模型,数字仅说明规律,不代表任何在线产品的实际表现。

评论

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注