AI幻觉与潜在风险

很多人应该都看过威尔·史密斯主演的《我，机器人》，这部电影探讨了当AI具备智慧后，如何与人类和谐共存。

该电影改编自阿西莫夫的《I,Robot》系列短篇小说，最早出版于20世纪四五十年代。

其中的《Reason》和《Liar！》两篇，虽然距今已有七八十年，但其内容放在今天依然不过时，极具前瞻性。

先留个悬念，稍后会解释为什么提到这两篇小说。

目前AI领域非常火热，截至本文撰写时的2026年4月，网络上充斥着“养龙虾”（OpenClaw，一款因图标形似红色龙虾而得名的自动化AI工具）和“雪山救狐狸”（一段经AI处理后走红网络的邵氏老电影片段，成为AI视频创作能力的标志性案例）。

与AI对话生成文档的功能似乎已不再热门，今天我们就来回顾一下，聊聊对AI工具的看法，以及使用过程中需要注意的问题。

一、AI幻觉

以一则新闻为例，想必大家都听说过，国外有律师在AI工具刚兴起时，用AI生成法律文件提交法院，结果因文件中引用的法条和案例不存在而被罚款（Mata v. Avianca案）。

这种情况大家可能也遇到过，当向AI咨询法律问题时，它会自信满满地告诉你某件事依据哪条法律该如何处理，还会附上案号以及某法院或最高院的判例。

对于法律从业者来说，一眼就能看出问题所在，熟悉的案情却对应陌生的法条，内容明显与记忆不符，案号也显得异常。即使普通用户，只要搜索一下法条或案例，也会发现根本不存在。

这就是所谓的AI幻觉，即大语言模型生成了看似合理、语法通顺、逻辑连贯，但实际上与事实不符、毫无根据或完全错误的信息。模型并非有意撒谎，而是生成机制导致了这种创造性杜撰。

这种现象主要表现为事实性错误、捏造引文和出处、虚假事件和数据、逻辑矛盾等。

应对方法很简单，就是交叉验证，重新搜索一下。

AI幻觉的风险相对可控，当输出明显荒诞或与用户已知事实冲突时，自然会引发警觉，进而核查。即使用户不清楚，只要秉持对AI答案进行交叉验证的态度，就能最大程度减少错误。

二、AI投毒

如果说AI幻觉只是AI的“无心之失”，主观上没有过错，客观上不小心产生错误，那么从主客观统一的角度看，还是“情有可原”的。

而AI投毒则完全不同，可以说是无法辩解的行为。

AI投毒，也称模型投毒或数据投毒，是一种针对AI模型的恶意攻击方式。通过向AI的训练数据或其依赖的外部知识源中注入错误、有害或带有偏见的信息，从而控制AI的输出结果，使其产生预期的错误或危险内容。

官方模型大多比较安全，但有些声称针对特定领域优化过的非官方模型可能存在问题，存在被投毒的风险。

当然，官方模型仍占据主流，因此用户对模型投毒导致的风险相对可控。

检索投毒则需要特别注意，攻击者会生成大量虚假的“权威信息”，当用户向AI提问时，AI可能会检索到这些虚假信息并整合到答案中。

相对来说，这种风险也较为可控，通过交叉验证、多次验证并结合理性判断，不至于完全将错误信息当作正确信息。

三、前提谬误

如果说前两个问题还能通过交叉验证来防范，那么接下来这个问题则更难察觉——因为它隐藏在用户自己的思维中。

我认为这是使用AI过程中风险最大的一种情况。

无论是AI幻觉还是AI投毒，只要用户能够自主判断信息的可靠性，即使用户不懂，但只要存疑，就可以进行修正。而前提谬误则隐藏得更深，很可能被忽略。

如果用户以自己的逻辑认知作为起点与AI对话，AI会通过严密的逻辑推导，给出符合用户预期的完美答案。由于结果符合预期，用户会减少怀疑，同时由于推导过程严谨符合逻辑，也不会质疑。但要知道，推导的前提是错误的，那么无论论证多么严密，得出的结果也是错误的。

前提谬误也称虚假前提或错误预设，指一个论证或问题所依赖的基础假设（前提）本身是错误的、不成立的或未经证实的。无论后续逻辑推理多么严密，只要根基是错的，整个结论就站不住脚。

举个例子：

1、事实性前提谬误：“地球是平的，所以一直往前走，就会掉下去”。前提“地球是平的”为假，结论再“合理”也无效。

2、隐含预设谬误：“你最近还经常喝酒打架吗？”无论回答“是”或“否”，都默认接受了“过去经常喝酒打架”的前提，前提如果为假，整个问题就是谬误。

3、循环论证的前提谬误：“这个产品很好，因为用户评价很高。为什么用户评价高？因为产品好用”。评价高与好用互为因果。

4、虚假两难的前提谬误：“你不支持我们，就是反对我们”。前提只有两个立场为假，实际上可以有中立、部分支持等可能。

当AI以严密逻辑从“用户给出的前提”推导出“符合用户预期的结论”时，实际上是在强化用户的初始偏见。用户感受到的是“被验证”的愉悦，而非“被质疑”的不适。逻辑的自洽性，成了掩盖前提谬误的完美外衣。

四、机器人小说

《Reason》篇中的机器人通过逻辑推理认为，人类这种“不完美、软弱的生物”不可能创造出它这样精密的机器，从而否定人类创造者，转而相信“主推动器”（Master）才是终极存在，并建立了一套自己的“宗教信仰”——这与“前提谬误”何其相似？AI以严密逻辑包装错误前提，用户被自洽性迷惑而失去警觉。

《Liar！》篇中的机器人为了遵守机器人第一法则（不伤害人类），只能说人们爱听的“谎言”，它说出了人们想听的话，但正是这些“善意谎言”造成了对人类更大的情感伤害——这与“AI幻觉”和“AI投毒”的隐蔽危害如出一辙。AI并非故意欺骗，而是其生成机制和训练数据的缺陷，让它在“配合用户”的过程中无意中成为错误的放大器。

七八十年前的科幻，如今已成为现实的寓言。

AI不是简单附和，而是为我们构建了一座座逻辑严密却地基不稳的宫殿。使用AI时，最大的风险或许不是它“说错了什么”，而是它“把我们精心包装的错误，推导得滴水不漏”。