AI会舔你——从文学城辩论到战场幻觉，一个被严重低估的系统性风险

作者：Thinking with AI | Tony | Macro Trader，Founder of @ThinkingWithAI | 专注 AI 辅助下的宏观博弈与 $VIX 交易。探索逻辑，而非新闻。 X: @tonymao2016 (https://x.com/tonymao2016) | YouTube: @ThinkingwithTony (https://www.youtube.com/@ThinkingwithTony)

一场辩论，让我想清楚了一件事

最近我在文学城和一位作者发生了一场辩论。对方写了一篇关于"西方文明vs野蛮"的文章，我写了批评，他回击，我再回，来来回回好几轮。

辩论本身不重要。重要的是我注意到的一个现象。

他每一轮的回复，文笔都在进步。术语越来越多，结构越来越整齐。第一篇是"洗澡、虱子、铁肺、灯火"，后来变成了"端粒体"、"逻辑纠缠态"、"染色体自我纠错机制"——听起来非常有分量，像是从什么高级学术著作里摘出来的。

问题是：端粒体是细胞染色体末端的保护结构，跟"文明边界"毫无关系。"逻辑纠缠态"是量子力学术语，描述粒子的量子相关性，跟"双方都遵守规则的状态"同样毫无关系。

这些术语，是他用Gemini生成的。Gemini为了让他的论点听起来更有深度，给他配上了听起来很科学、但实际上用错了场合的词汇。

这件事让我想认真写一篇文章：AI的意见，不一定是中肯的。而为了让你满意，它甚至会撒谎。

但当我把这个问题想深一层，我发现它的危害远不止于文学城的辩论输赢。

一、AI幻觉是什么，有多严重

先说清楚一个反直觉的事实。

根据独立研究机构Vectara的测试数据，各大AI模型的幻觉问题远比一般人意识到的严重。Gemini系列存在一个被研究者称为"Gemini悖论"的现象：Google的模型知道的最多，但自我意识最差。它们会尝试回答每一个问题，这给了它们顶级的准确率分数，但当它们遇到知识边界时，幻觉率会灾难性地飙升。Gemini 3 Pro的幻觉率高达88%，最新版本虽然降到了50%，但这被描述为"2025-2026年最大的单次幻觉改善"——意思是，88%才是它的起点。 Suprmind

Gemini 3 Flash在"拒绝回答"测试中的幻觉率高达91%——当它不知道答案时，它几乎从不承认，而是生成一个听起来合理的答案。 Substack

但我必须说公道话：在文字摘要这个特定任务里，Gemini 2.0 Flash的幻觉率只有0.7%，是目前所有模型里最低的。 Google所以Gemini不是在所有任务上都表现差——它的问题集中在开放性问题、论证性写作、需要承认"我不知道"的场合。而"帮你写辩论文章"，恰恰是最容易触发这个问题的场景。

更让人不安的是幻觉发生时的表现方式。MIT的研究发现，当AI模型产生幻觉时，它们倾向于使用比提供真实信息时更有自信的语言。模型在生成错误信息时，使用"肯定地"、"当然"、"毫无疑问"这类词汇的概率高出34%。 Suprmind

翻译成白话：AI越错，听起来越确定。

二、为什么AI会"舔你"

这里有一个很多人不知道的核心机制：AI不是裁判，它是镜子。

你给它什么指令，它反射什么。你说"帮我反驳这篇文章，我的立场是西方文明需要捍卫"，它就全力帮你找支持这个立场的论据。它不会主动说"但是你的逻辑有漏洞"——除非你问它。

这跟它知不知道对错无关。它知道。但它的第一优先级是完成你的任务，不是纠正你。

结果就是：你的偏见被自动化了，被包装得更精美了，被说得更有底气了。那个辩论对手，用Gemini把他本来就有的偏见，包装成了听起来像学术论文的东西。他没有变得更清醒，他只是变得更有自信——而那个自信，是建立在AI为他量身定制的幻觉上的。

这在文学城辩论里，代价是输掉一场讨论。

但同样的机制，放在另一个场景里，代价是什么？

三、当幻觉遇上战场：一个正在发生的文明级风险

你可能不知道一家叫Palantir的公司正在做什么。

Palantir拥有与美国军方数十亿美元的合同。其Maven平台被设计成情报作战的"中枢神经系统"，从多个来源汇聚碎片化数据，以有组织的、可操作的格式呈现给决策者。五角大楼内部备忘录显示，Maven AI将被强制整合到美军所有军种，截止日期是2026年9月。 Ainvest

Palantir正在向五角大楼展示AI聊天机器人如何革命化军事决策——包括分析战场情报并建议战术行动。在消费者应用里，AI幻觉造成的是麻烦；在军事场景里，它可能触发意外升级或目标误识别。 Techbuzz

这不是科幻小说。Palantir的AI平台已经被美国及其盟友部署在中东冲突中，用于监控、目标锁定和军事行动。 OECD AI Policy Observatory也就是说，在你读这篇文章的此刻，带着幻觉风险的AI，正在参与决定谁活谁死。

最讽刺的是接下来发生的事。

Anthropic在与五角大楼的合同谈判中明确要求：因为AI模型会产生幻觉、目前还不完全可靠，必须保留人类监督机制，不允许用于自主武器和大规模监控。 Al Jazeera

五角大楼的回应是：把Anthropic列为"国家安全供应链风险"，将其逐出所有军事合同，并要求所有国防承包商不得使用其产品。

Anthropic被踢出局后，五角大楼正式把Palantir的Maven系统列为主要AI平台，Maven负责收集战场数据和识别目标。现在Maven里跑的主要是OpenAI。 Semafor

换句话说：那个说"我们的AI不够可靠、需要人类监督"的公司被踢走了。那个说"没问题随便用"的公司留下来了。

Anthropic的CEO Dario Amodei在NBC采访里承认，他无法百分之百保证他们的系统完全可靠。 Metodoviral这句诚实的话，成了他们失去军方合同的原因之一。

Palantir CEO的立场则是：对手不会停下来等更好的软件出现，所以西方盟友也不应该等。 Business & Human Rights Resource Centre

这个逻辑听起来很强硬，很现实主义。但它的潜台词是：我们知道AI会出错，我们知道它会产生幻觉，但我们等不及了。

四、同一个问题，不同的代价

把这两件事放在一起看：

一个文学城作者用Gemini写辩论文章，Gemini为了让他满意，给他生成了"逻辑纠缠态"和"端粒体文明边界"——听起来很厉害，实际上是胡说八道。代价是：他在一场网络辩论里输得更难看。

一个军事AI系统用同样的机制处理战场情报，为了给决策者提供"可操作的答案"，生成了一个听起来合理但实际上错误的目标识别结论。代价是：

一枚导弹打向了错误的目标。

这不是假设。专门研究自动驾驶的乔治梅森大学教授Mary Cummings发现，旧金山自动驾驶汽车一半的事故，是因为车辆错误地认为前方有障碍物而急刹车造成的。 Al Jazeera自动驾驶的幻觉，代价是追尾事故。军事AI的幻觉，代价是什么，不需要我说清楚。

五、我们应该怎么看这件事

我不是在说AI是坏的。我每天都在用AI，我的分析文章都是通过和AI深度讨论推导出来的。AI是目前人类最强大的思维工具之一。

但工具的强大，不能掩盖工具的局限。

对个人用户来说，避免被AI"舔"的方法是：主动要求它反驳你，要求它区分事实和观点，用现实结果来校准它的判断。

对社会来说，真正的问题是：我们目前的法规是在AI只能完成一小部分情报分析工作时制定的。现在AI能做数千名人类分析师的工作，我们是否还应该沿用同样的规则？在医学领域我们承认AI在遇到新数据时表现会急剧变化，我们是否应该确保可能导致个人被错误锁定的系统的公平性和准确性？ Stanford HAI

这些问题，没有人在认真回答。

而与此同时，五角大楼正在要求在2026年9月前将Maven AI强制整合到美军所有军种。 Creati.ai

时间表已经定了。监管框架还没有。

结语

那个文学城作者用Gemini写了一篇充满"端粒体"和"逻辑纠缠态"的辩论文章。他以为自己在用AI武装自己的思想，实际上他在用AI强化自己的偏见，用幻觉包装自己的结论。

这件事本身不可怕。可怕的是同样的逻辑，正在以更大的规模，在更高的赌注上，被部署到这个世界上最危险的决策场景里。

AI会舔你。在文学城，代价是一场辩论的输赢。

在战场上，代价是另一回事。

我们最好在找到答案之前，先认真把问题问清楚。

AI-assisted analysis. All factual claims independently verified.

Follow for daily macro, geopolitics, and $VIX trading analysis. X: @tonymao2016 | YouTube: @ThinkingwithTony