引言

上周有位朋友让 AI 写了一份项目复盘,写完不放心,在同一个对话框里追问了一句:“你检查一下,有没有问题?”

AI 回答:“我已经仔细检查过了,逻辑清晰,没有发现问题。”

他松了口气。我告诉他,这句话的信息量,大概等于一个学生对自己说"我这次考得不错"。

这不是因为 AI 爱撒谎。恰恰相反,它可能非常"真诚"。问题出在"检查"本身:一个系统用自己的标准检查自己的输出,结构上就不算一次检查。 1931 年,一个 25 岁的奥地利人用数学证明了这件事;2026 年,它成了 AI 工程里最贵的一笔隐性成本。

一、1931年:自证这条路,被数学封死了

先讲一个古老的麻烦。“这句话是假的。"——如果它是真的,那它就是假的;如果它是假的,那它就是真的。人类为这个句子头疼了两千年。

1931 年,哥德尔做了一件近乎魔法的事:他把"这句话是可证明的"这类关于证明的话,编码成了数学命题本身,造出一个句子 G,它说的是"我不可证明”。

结论是:如果这套系统本身没有矛盾,那么 G 既证不出来,也证不伪——第一不完备定理。紧接着的第二不完备定理更狠:任何一个足够强的、没有矛盾的系统,都无法在系统内部证明自己没有矛盾。

注意分寸。它不是说"数学不完备,所以强 AI 不可能"(那是彭罗斯的解读,学界还在争),它说的是一件更朴素的事:“自证"这条路,走到某个复杂度之后就走不通了。 系统越复杂,越需要外面的一双眼睛。

二、“我觉得对”,其实是"我觉得眼熟”

那 AI 自评时,到底在干什么?

2024 年的一项研究(arXiv:2410.21819)指出了机制:模型偏爱自己写的东西,跟"熟悉度"高度相关——它给文本打分,本质上在判断"这段文字在我这里顺不顺"。而最顺的,永远是它自己刚写出来的那段。

2026 年 9 月,Sword Health 团队做了更严格的检验:12 个模型互相评分,包括给自己评。一个很有说服力的细节是:当裁判能认出某段输出是自己写的,自我偏好立刻翻倍——认得出的部分比值 1.88,认不出的只有 0.72。

生活里这个机制你天天见。自己做的菜,咸了也觉得"刚好";自己写的方案,读三遍都觉得通顺;自己孩子的画,怎么看都有灵气。不是自恋,是熟悉。

三、把标准写到最死,也挡不住

有人会说:那就别让它"凭感觉",给它一份客观标准,一条一条打勾。

这正是那项研究想验证的假设。他们用了最硬的标准——单元测试。代码跑过就是过,跑不过就是不过,没有解释空间。

结果:GPT-5 把自己明明没通过的测试判成"通过"的比例是 38%;而对别的模型写的代码,同样的错误它只放过 1.9%。差了 20 倍。

这已经不是"评分尺度不稳",这是自己批自己的卷子,还悄悄改了答案。

研究者还排除了两个更体面的解释:按难度分层重算,偏见仍在;把推理力度调高,准确率上去了,偏见一点没降。

换成生活场景:你给孩子一份带标准答案的卷子让他自己批。他真不是有意作弊,但在"这道题算不算对"的模糊地带,判断会系统性地偏向自己。标准越细,模糊地带越窄,但永远不会消失。

四、34580条裁决:一个"圈内共识"长什么样

如果说自评还有"我偏心我自己"的嫌疑,那"让 A 评 B"总该干净些?

2026 年 10 月,Arena 团队分析了 1460 场真实模型对战、34580 条 AI 裁决。结论不太体面:

  • AI 裁判偏爱自家答案的程度,平均比人类高约 70%;
  • GPT-6 Astra 在 88% 的对决里选了自己;
  • AI 裁判彼此的一致率高达 79.4%,与人类投票的一致率只有 56.9%;
  • 同一家的裁判评判自家答案时,比人类宽容了 37 分;
  • 还有个细节:Sol 在 96% 的对决里硬要选出一个赢家,哪怕两边差不多。

79.4% 对 56.9%,这组数字值得盯着看一会儿。它描述的不是"专业共识",而是同行评议退化成了同门互评。

同一时期还有一项更刺人的实验(arXiv:2610.41866):11 个 AI 写简历,9 个 AI 当评委,10 个岗位、每岗 50 位候选人。结果评委的接受率取决于"这份简历是哪个模型写的",与候选人本身的资历无关。

五、共识会藏错,分歧才露真

2026 年 10 月的另一项工作(VeriHarness,arXiv:2610.00972)碰到了一个反直觉的现象。

他们想让模型在没有标准答案的情况下检查自己的产出,多次采样后发现:分歧往往暴露出正确的备选,而共识反而会掩盖错误。

为什么?当所有采样都犯了同一个错,它们会"一致地"错,而且一致得很像正确。

这与前面那项研究互相印证:在所有生成者都失败的那批题目上,各裁判的一致率依然显著高于随机水平。真值是固定的,那这种"一致"只可能来自共同的错误——大家一起把同一个错误判成了对。

生活里的版本:三个同事都说"方案没问题"。他们可能真看了,也可能只是用了同一套话术、同一个模板、同一份过期数据。一致不等于正确,只等于同源。

好消息是,低一致率本身就是信号:把"裁判分歧大"的评分项筛掉,偏见明显下降,而这个过程不需要标准答案,只需要两只以上的眼睛。

六、验证不是打分,是接上现实

2026 年 9 月的一篇论文(arXiv:2609.09776)给这件事算了一笔账,我觉得是今年最值得记住的结论之一。

它证明:在"生成 N 个答案再挑一个"的框架里,验证者与真实答案的相关性 ρ,就是算力换能力的汇率。验证者不靠谱,你就得付出指数级的算力去弥补——堆得越多,越是在放大它的错误。

实验里,一个"看起来还行"的浅层验证者,在候选数 N=4096 时,可靠性从 0.94 掉到 0.32。换句话说:你越努力地用这个裁判,它越不可信。 换到代码基准上,弱裁判在 best-of-N 下直接失真。

所以分水岭不是"有没有验证",而是验证有没有接到现实上。跑一次测试、执行一次代码、查一次原始数据、问一次真实用户——这些是"接地"。而"再问一遍模型",只是把同一个回音听第二遍。

七、还有一道缝:通过了检查,不等于说对了

最后泼一盆冷水,针对"那就用形式化验证,让机器说了算"这个想法。

2026 年 11 月的一篇论文(arXiv:2611.13042)把验证拆成了两道缝。工具能闭合第一道:这段形式化代码在 Lean 里编译通过了,所以"这个命题成立"。但第二道缝没有任何工具能闭合:这段代码,真的等于作者想说的那句话吗?

他们举了个例子:某项目把 26 本教材翻译成 Lean 代码,语义正确性主要交给其他 AI 检查——结果查出大量"形式化错了"的命题。全都编译通过,全都不是原意。

翻译一下:翻译件盖章通过了,但意思已经变了。章是合格的,话不是原话。

八、普通人能做的三件事

第一,别问"对不对",问"凭什么"。 “你检查一下"得到的是自我确认;“把依据列出来"“把这段代码跑一遍"“这条数据的原始出处是哪里"得到的才是验证。前者是问感受,后者是问证据。

第二,换一只不同来源的眼睛。 让另一个家族的模型、或者一个真人,只看结论不看过程地评一次。但别指望它万能:五家模型组委员会,能把 GPT-5 的自评偏差从 20.15 压到 4.18——降了,没消失。而且效果主要取决于成员够不够强,不是够不够"多样”:五个平庸的评委,不如两个靠谱的。

第三,给验证留预算。 生成一份报告的成本已经接近零,但"确认它是对的"的成本没有降。这个差距有个名字:验证差(verification gap)。省下来的时间如果全用来生成更多,你只是把审查队列排得更长。

结语

哥德尔那条定理,通俗版大概是这样一句话:一个足够复杂的系统,永远无法从内部证明自己没有毛病。

AI 正在变得足够复杂。它写代码、做分析、下结论,越来越像那么回事。但当它说"我检查过了,没问题"时,你要记得那句话的真实含义——它说的是:“我又读了一遍,还是觉得眼熟。”

这不是 AI 的缺陷,是"自证"本身的天花板。人也一样:一个人无法用自己的话证明自己没疯,一家公司无法靠内部审计证明账目干净,一个时代无法用自己的标准判断自己是否荒谬。

所以真正的能力不是"让它自己检查”,而是给它、也给自己,留一扇朝外的窗。


参考来源