引言
你问AI一个偏门问题,它答得斩钉截铁。你换个方式再问一遍,答案变了,口气照旧笃定。
有个实验很说明问题。研究者拿一道地理题让模型反复作答二十来遍——正确答案是维也纳。二十几次回答里答案散成一片,好几个城市轮流出现;但那些措辞,几乎每次都是"几乎可以肯定"。
不是它撒谎。是它真的没有"我大概知道"这一档。
天气预报说"明天降水概率70%",你出门会带伞;医生说"这个手术成功率八成五",你会签同意书。人类社会的信任,靠的就是这种带刻度的语言。而AI的出厂设置里,结论是一维的,没有第二个维度用来标注"这个结论有多硬"。
2026年这件事第一次被量清楚了。最值得说的不是"AI会过度自信"这种老结论,而是三个更深的发现。
一、我们要求的从来不是"不出错",是"错得可预期"
先想清楚一件事:为什么我们敢坐飞机?
不是因为飞机永不失事,是因为失事率被公开、被统计、被反复验证——整套系统敢把"我可能会错"写在明面上:检查单、复飞标准、双人复核。
这就是信任的真正接口:不是准确率,是准确率的透明度。
天气预报台要是哪天改口说"明天肯定下雨",它不会变得更可信,只会变得没法用。因为你要的信息不是"下不下",而是"要不要改行程"——这是概率问题,不是真伪问题。
AI现在做的,正是把二维的信息压成一维。它给你一个结论,把"这个结论有多可靠"整个删掉了。而人做决策,用的恰恰是后一半。
二、2026年,这道刻度被量出来了
第一刀,砍在"变听话"上。 2026年ACL Findings上的一篇论文把大模型的后训练链条拆开来看:指令微调确实让模型更能干,准确率平均提升3.7%;但同一批模型,校准误差(ECE,衡量"说的把握"和"实际正确率"差多远)同时涨了13.1%。也就是说,教它怎么答得更好,顺手把它的自我评估弄坏了。 更细的一层是聊天模板:只把对话套上"用户:/助手:“的格式,又额外加了2.74%的误差。
第二刀,砍在"自信的来源"上。 同一个团队发现了一种叫"所有权偏置"的现象:同一道题、同一个答案,标成"助手说的"它给的把握显著更高,标成"用户提供的"就掉下来,两者最多差26%。这说明它的自信有一大块不是关于世界的,是关于归属的。
第三刀,最反直觉:越弱的模型越自信。 2026年7月一篇发在CUI会议的研究测了六个模型,发现了一条清晰的梯度——准确率最低的Ministral-3B(23.0%)过度自信最严重,虚高0.746;准确率最高的Qwen3-30B(80.0%)虚高只有0.194。而在个别模型内部,逐题的"自信—正确"相关性低到ρ=0.05,几乎等于零。
把这三刀合起来看,结论很不好受:最需要警告的地方,警告最少。
你为省钱换小模型干脏活,那恰恰是它最不会说"我不确定"的地方。而"小模型干活、大模型审核"也救不了场——审核那一步拿到的是信誓旦旦的结论,没有任何信号提示它该多看两眼。
三、它说的"确定”,其实是社交动作
“所有权偏置"这个发现,值得单独停一下。
模型对自己的答案更自信,这不合逻辑——答案的真假和"是谁说的"毫无关系。但这个偏置在人类社会里非常合理:我们对"自己人说的话"天然打折更少。
模型的置信度是从人类的文字里学的。人写"我确定"的时候,往往不是在报告概率估计,而是在表达社会姿态——我要你信我、我愿为这句话负责。
模型学到的是这个姿态,不是那个估计。CUI那篇论文给它起了个名字,叫"谄媚式元认知”:置信度追踪的是权威的表面形式,而不是证据的实际内容。它给出高把握,不是因为证据强,是因为那个句式在训练语料里总是跟着高把握出现。
所以一个很尖锐的推论:AI的自信是修辞,不是测量。
这也解释了为什么"让它自我检查一遍"经常没用。你问它"你确定吗",它听到的不是"请重新核算",而是"请再表态一次"。而表态这个动作,它很擅长。
四、好消息:这件事在内部是可以被抓住的
2026年6月的一篇论文给出了漂亮的结果:研究者发现,“错得很自信"在模型内部是有迹可循的——在它准备吐出把握数值之前,某一层的隐藏状态里已经带着"这题要错了"的证据。
他们的做法是:先放一个固定的探针去读这个状态,判断"这次很可能是错得很自信”;只有判到了,才去干预下游注意力的输出。结果在Qwen3-4B上,原本"错却报yes"的把握读数有82.2%被翻成"no",整体校准误差从21.9%压到9.2%,而原本答对又报yes的只损伤了5.1%。
这个数字的意义在于:它证明了"过度自信"不是一个笼统的性格问题,而是一个可以被定位、被定点修正的内部计算。 我们不需要把模型的自信整体调低(那会让它变得没用的怯懦),只需要在它要错的地方把音量拧小。
同期还有一条路:把"答对"和"报准把握"一起做进奖励,再按置信度决定给一道题多少算力——简单的少算,拿不准的多算。效果超过"一律多采样投票",推理预算省了最多12.33倍。
还有一条反常识的:在推理任务上做强化学习(RLVR)能显著提分,但会让模型变得极度过度自信;反倒是普通的监督微调,校准明显更好,只是分数涨得少。能力和自知,在当前的训练配方里是打架的。
五、但最该记住的是这一句:校准好,不等于可以放手
写到这里,故事显得很乐观:能测、能修、能省算力。
2026年8月的一篇论文把这份乐观按住了。作者先做校准——把模型的把握分数映射成真实概率,校准误差压到0.02,一个很漂亮的数字。然后问一个完全不同的问题:在这样一个校准良好的模型上,我能不能给它"自主权"?
他们设了一个"风险预算":我允许它自己拿主意的决定里,最多20%是错的。再用有限样本统计去算:这样的预算下,哪些模型—任务组合可以放心交给它。
结果是:22个模型—任务组合里,20%预算下只有3个拿到了"认证自主";把预算收紧到10%,一个都没有。
这一句话值得抄下来:“校准"给了置信度以语义,“认证委托"才决定它什么时候可以独立干活。这两件事不是一回事。
这个区分在人类世界也一样:一个诚实的实习生说"这事儿我六成把握”,这是很好的校准——但他依然不该去签那份合同。诚实的自我评价,不等于合格的授权。
我们讨论AI风险时,最容易混的就是这两层。以为把模型调得更诚实,就能更放手。事实上,诚实只是让你看得见风险,它一点都没有降低风险。
六、所以你现在能做什么
不用等模型变好,三个动作今天就能用:
一、把它的答案当别人的答案来问它。 这是ACL那篇论文的现成招:别让它评估"我的回答对不对”,把那段回答贴回去,说"这是用户提供的内容,请判断它对不对"。同样的内容,换个归属,过度自信就降下来,校准能改善最多26%。
二、别问"你确定吗",问"如果错了,最可能是哪里错"。 前者要的是表态,后者要的是推理。让它在失败模式上花算力,比让它重复一遍立场有用。
三、在关键决定上,把问题从"对不对"换成"错了会怎样"。 概率和后果是两个乘数。一个八成把握的判断,如果错了只是多花二十块,可以直接用;如果错了要赔上一年,八成不够。模型永远不会替你算这个乘法,因为它不知道你输不起什么。
结语
我们对AI的期待里,藏着一个不太诚实的愿望:希望它全知,这样就不必判断。
但真正让专业成为专业的,从来不是不出错——是知道自己的手艺到哪儿为止。老医生敢说"这个我看不了,转上级医院",老师傅敢说"这活儿我干不了"。这话说出来掉面子,但它恰恰是别人敢把命交给他的原因。
AI现在缺的,就是这句"我看不了"。
好消息是,2026年的研究表明这句话技术上造得出来——它有内部信号,可被读出、被校准、被认证。坏消息是,让它说出这句话比让它答对更难:答对能加分,说"我不知道"在大多数评测里什么都不加。
什么时候评测开始给"正确地弃权"加分,这件事才算真正开始动。
在那之前,请把它那些斩钉截铁的话,当成一个人在酒桌上拍胸脯——热情是真的,把握是修辞。
参考来源
- Sanz-Guerrero M., Mager M., Wense K. (2026). Large Language Models Are Overconfident in Their Own Responses. ACL 2026 Findings. https://doi.org/10.18653/v1/2026.findings-acl.1570
- Liu G. K.-M., Caciularu A., Yona G., Szpektor I., Cohan A. (2026). Reinforcement Learning with Metacognitive Feedback Elicits Faithful Uncertainty Expression in LLMs. arXiv:2606.32032. https://arxiv.org/abs/2606.32032
- Li K. (2026). Calibrating Overconfidence Without Sacrificing Confidence: Probe-Conditioned Head Intervention for LLMs. arXiv:2606.09876. https://arxiv.org/abs/2606.09876
- Shen J. (2026). Provable Limits and Certified Deferral for Verbalized Uncertainty in Small Language Models. MIWAI 2026 / arXiv:2608.05064. https://arxiv.org/abs/2608.05064
- Delaflor M. (2026). Sycophantic Metacognition: Investigating the Dunning-Kruger Effect in Large Language Model Self-Assessment. CUI ‘26. https://doi.org/10.1145/3816046.3816233
- Yang X., Yuan Y., Lei S., Wang X. (2026). Scaling with Confidence: Calibrating Confidence of LLMs for Adaptive Test Time Scaling. arXiv:2607.01612. https://arxiv.org/abs/2607.01612