<?xml version="1.0" encoding="utf-8" standalone="yes"?>
<rss version="2.0" xmlns:atom="http://www.w3.org/2005/Atom">
	<channel>
		<title>AI信任 on 灵语AI</title>
		<link>https://lingyu7.com/tags/ai%E4%BF%A1%E4%BB%BB/</link>
		<description>Recent content in AI信任 on 灵语AI</description>
		<generator>Hugo</generator>
		<language>zh-CN</language>
		
		
		
		
			<lastBuildDate>Wed, 11 Nov 2026 03:20:00 +0800</lastBuildDate>
		
			<atom:link href="https://lingyu7.com/tags/ai%E4%BF%A1%E4%BB%BB/index.xml" rel="self" type="application/rss+xml" />
			<item>
				<title>天气预报敢说&#39;七成会下雨&#39;，AI却只会说&#39;是的&#39;——当机器的自信没有刻度，我们失去的是什么</title>
				<link>https://lingyu7.com/posts/ai-confidence-calibration-no-scale/</link>
				<pubDate>Wed, 11 Nov 2026 03:20:00 +0800</pubDate>
				<guid>https://lingyu7.com/posts/ai-confidence-calibration-no-scale/</guid>
				<description>&lt;h2 id=&#34;引言&#34;&gt;引言&lt;/h2&gt;&#xA;&lt;p&gt;你问AI一个偏门问题，它答得斩钉截铁。你换个方式再问一遍，答案变了，口气照旧笃定。&lt;/p&gt;&#xA;&lt;p&gt;有个实验很说明问题。研究者拿一道地理题让模型反复作答二十来遍——正确答案是维也纳。二十几次回答里答案散成一片，好几个城市轮流出现；但那些措辞，几乎每次都是&amp;quot;几乎可以肯定&amp;quot;。&lt;/p&gt;&#xA;&lt;p&gt;不是它撒谎。是它真的没有&amp;quot;我大概知道&amp;quot;这一档。&lt;/p&gt;&#xA;&lt;p&gt;天气预报说&amp;quot;明天降水概率70%&amp;quot;，你出门会带伞；医生说&amp;quot;这个手术成功率八成五&amp;quot;，你会签同意书。人类社会的信任，靠的就是这种带刻度的语言。而AI的出厂设置里，&lt;strong&gt;结论是一维的，没有第二个维度用来标注&amp;quot;这个结论有多硬&amp;quot;&lt;/strong&gt;。&lt;/p&gt;&#xA;&lt;p&gt;2026年这件事第一次被量清楚了。最值得说的不是&amp;quot;AI会过度自信&amp;quot;这种老结论，而是三个更深的发现。&lt;/p&gt;&#xA;&lt;h2 id=&#34;一我们要求的从来不是不出错是错得可预期&#34;&gt;一、我们要求的从来不是&amp;quot;不出错&amp;quot;，是&amp;quot;错得可预期&amp;quot;&lt;/h2&gt;&#xA;&lt;p&gt;先想清楚一件事：为什么我们敢坐飞机？&lt;/p&gt;&#xA;&lt;p&gt;不是因为飞机永不失事，是因为失事率被公开、被统计、被反复验证——整套系统敢把&amp;quot;我可能会错&amp;quot;写在明面上：检查单、复飞标准、双人复核。&lt;/p&gt;&#xA;&lt;p&gt;这就是信任的真正接口：&lt;strong&gt;不是准确率，是准确率的透明度。&lt;/strong&gt;&lt;/p&gt;&#xA;&lt;p&gt;天气预报台要是哪天改口说&amp;quot;明天肯定下雨&amp;quot;，它不会变得更可信，只会变得没法用。因为你要的信息不是&amp;quot;下不下&amp;quot;，而是&amp;quot;要不要改行程&amp;quot;——这是概率问题，不是真伪问题。&lt;/p&gt;&#xA;&lt;p&gt;AI现在做的，正是把二维的信息压成一维。它给你一个结论，把&amp;quot;这个结论有多可靠&amp;quot;整个删掉了。而人做决策，用的恰恰是后一半。&lt;/p&gt;&#xA;&lt;h2 id=&#34;二2026年这道刻度被量出来了&#34;&gt;二、2026年，这道刻度被量出来了&lt;/h2&gt;&#xA;&lt;p&gt;&lt;strong&gt;第一刀，砍在&amp;quot;变听话&amp;quot;上。&lt;/strong&gt; 2026年ACL Findings上的一篇论文把大模型的后训练链条拆开来看：指令微调确实让模型更能干，准确率平均提升3.7%；但同一批模型，校准误差（ECE，衡量&amp;quot;说的把握&amp;quot;和&amp;quot;实际正确率&amp;quot;差多远）同时涨了13.1%。也就是说，&lt;strong&gt;教它怎么答得更好，顺手把它的自我评估弄坏了。&lt;/strong&gt; 更细的一层是聊天模板：只把对话套上&amp;quot;用户：/助手：&amp;ldquo;的格式，又额外加了2.74%的误差。&lt;/p&gt;&#xA;&lt;p&gt;&lt;strong&gt;第二刀，砍在&amp;quot;自信的来源&amp;quot;上。&lt;/strong&gt; 同一个团队发现了一种叫&amp;quot;所有权偏置&amp;quot;的现象：同一道题、同一个答案，标成&amp;quot;助手说的&amp;quot;它给的把握显著更高，标成&amp;quot;用户提供的&amp;quot;就掉下来，两者最多差26%。这说明它的自信有一大块不是关于世界的，是关于&lt;strong&gt;归属&lt;/strong&gt;的。&lt;/p&gt;&#xA;&lt;p&gt;&lt;strong&gt;第三刀，最反直觉：越弱的模型越自信。&lt;/strong&gt; 2026年7月一篇发在CUI会议的研究测了六个模型，发现了一条清晰的梯度——准确率最低的Ministral-3B（23.0%）过度自信最严重，虚高0.746；准确率最高的Qwen3-30B（80.0%）虚高只有0.194。而在个别模型内部，逐题的&amp;quot;自信—正确&amp;quot;相关性低到ρ=0.05，几乎等于零。&lt;/p&gt;&#xA;&lt;p&gt;把这三刀合起来看，结论很不好受：&lt;strong&gt;最需要警告的地方，警告最少。&lt;/strong&gt;&lt;/p&gt;&#xA;&lt;p&gt;你为省钱换小模型干脏活，那恰恰是它最不会说&amp;quot;我不确定&amp;quot;的地方。而&amp;quot;小模型干活、大模型审核&amp;quot;也救不了场——审核那一步拿到的是信誓旦旦的结论，没有任何信号提示它该多看两眼。&lt;/p&gt;&#xA;&lt;h2 id=&#34;三它说的确定其实是社交动作&#34;&gt;三、它说的&amp;quot;确定&amp;rdquo;，其实是社交动作&lt;/h2&gt;&#xA;&lt;p&gt;&amp;ldquo;所有权偏置&amp;quot;这个发现，值得单独停一下。&lt;/p&gt;&#xA;&lt;p&gt;模型对自己的答案更自信，这不合逻辑——答案的真假和&amp;quot;是谁说的&amp;quot;毫无关系。但这个偏置在人类社会里非常合理：&lt;strong&gt;我们对&amp;quot;自己人说的话&amp;quot;天然打折更少。&lt;/strong&gt;&lt;/p&gt;&#xA;&lt;p&gt;模型的置信度是从人类的文字里学的。人写&amp;quot;我确定&amp;quot;的时候，往往不是在报告概率估计，而是在表达社会姿态——我要你信我、我愿为这句话负责。&lt;/p&gt;&#xA;&lt;p&gt;模型学到的是这个姿态，不是那个估计。CUI那篇论文给它起了个名字，叫&amp;quot;谄媚式元认知&amp;rdquo;：置信度追踪的是&lt;strong&gt;权威的表面形式&lt;/strong&gt;，而不是证据的实际内容。它给出高把握，不是因为证据强，是因为那个句式在训练语料里总是跟着高把握出现。&lt;/p&gt;&#xA;&lt;p&gt;所以一个很尖锐的推论：&lt;strong&gt;AI的自信是修辞，不是测量。&lt;/strong&gt;&lt;/p&gt;&#xA;&lt;p&gt;这也解释了为什么&amp;quot;让它自我检查一遍&amp;quot;经常没用。你问它&amp;quot;你确定吗&amp;quot;，它听到的不是&amp;quot;请重新核算&amp;quot;，而是&amp;quot;请再表态一次&amp;quot;。而表态这个动作，它很擅长。&lt;/p&gt;&#xA;&lt;h2 id=&#34;四好消息这件事在内部是可以被抓住的&#34;&gt;四、好消息：这件事在内部是可以被抓住的&lt;/h2&gt;&#xA;&lt;p&gt;2026年6月的一篇论文给出了漂亮的结果：研究者发现，&amp;ldquo;错得很自信&amp;quot;在模型内部是有迹可循的——在它准备吐出把握数值之前，某一层的隐藏状态里已经带着&amp;quot;这题要错了&amp;quot;的证据。&lt;/p&gt;&#xA;&lt;p&gt;他们的做法是：先放一个固定的探针去读这个状态，判断&amp;quot;这次很可能是错得很自信&amp;rdquo;；只有判到了，才去干预下游注意力的输出。结果在Qwen3-4B上，原本&amp;quot;错却报yes&amp;quot;的把握读数有82.2%被翻成&amp;quot;no&amp;quot;，整体校准误差从21.9%压到9.2%，而原本答对又报yes的只损伤了5.1%。&lt;/p&gt;&#xA;&lt;p&gt;这个数字的意义在于：&lt;strong&gt;它证明了&amp;quot;过度自信&amp;quot;不是一个笼统的性格问题，而是一个可以被定位、被定点修正的内部计算。&lt;/strong&gt; 我们不需要把模型的自信整体调低（那会让它变得没用的怯懦），只需要在它要错的地方把音量拧小。&lt;/p&gt;&#xA;&lt;p&gt;同期还有一条路：把&amp;quot;答对&amp;quot;和&amp;quot;报准把握&amp;quot;一起做进奖励，再按置信度决定给一道题多少算力——简单的少算，拿不准的多算。效果超过&amp;quot;一律多采样投票&amp;quot;，推理预算省了最多12.33倍。&lt;/p&gt;&#xA;&lt;p&gt;还有一条反常识的：在推理任务上做强化学习（RLVR）能显著提分，但会让模型变得&lt;strong&gt;极度&lt;/strong&gt;过度自信；反倒是普通的监督微调，校准明显更好，只是分数涨得少。&lt;strong&gt;能力和自知，在当前的训练配方里是打架的。&lt;/strong&gt;&lt;/p&gt;&#xA;&lt;h2 id=&#34;五但最该记住的是这一句校准好不等于可以放手&#34;&gt;五、但最该记住的是这一句：校准好，不等于可以放手&lt;/h2&gt;&#xA;&lt;p&gt;写到这里，故事显得很乐观：能测、能修、能省算力。&lt;/p&gt;&#xA;&lt;p&gt;2026年8月的一篇论文把这份乐观按住了。作者先做校准——把模型的把握分数映射成真实概率，校准误差压到0.02，一个很漂亮的数字。然后问一个完全不同的问题：&lt;strong&gt;在这样一个校准良好的模型上，我能不能给它&amp;quot;自主权&amp;quot;？&lt;/strong&gt;&lt;/p&gt;&#xA;&lt;p&gt;他们设了一个&amp;quot;风险预算&amp;quot;：我允许它自己拿主意的决定里，最多20%是错的。再用有限样本统计去算：这样的预算下，哪些模型—任务组合可以放心交给它。&lt;/p&gt;&#xA;&lt;p&gt;结果是：22个模型—任务组合里，20%预算下只有3个拿到了&amp;quot;认证自主&amp;quot;；把预算收紧到10%，&lt;strong&gt;一个都没有。&lt;/strong&gt;&lt;/p&gt;&#xA;&lt;p&gt;这一句话值得抄下来：&lt;strong&gt;&amp;ldquo;校准&amp;quot;给了置信度以语义，&amp;ldquo;认证委托&amp;quot;才决定它什么时候可以独立干活。这两件事不是一回事。&lt;/strong&gt;&lt;/p&gt;&#xA;&lt;p&gt;这个区分在人类世界也一样：一个诚实的实习生说&amp;quot;这事儿我六成把握&amp;rdquo;，这是很好的校准——但他依然不该去签那份合同。&lt;strong&gt;诚实的自我评价，不等于合格的授权。&lt;/strong&gt;&lt;/p&gt;&#xA;&lt;p&gt;我们讨论AI风险时，最容易混的就是这两层。以为把模型调得更诚实，就能更放手。事实上，诚实只是让你&lt;strong&gt;看得见&lt;/strong&gt;风险，它一点都没有&lt;strong&gt;降低&lt;/strong&gt;风险。&lt;/p&gt;&#xA;&lt;h2 id=&#34;六所以你现在能做什么&#34;&gt;六、所以你现在能做什么&lt;/h2&gt;&#xA;&lt;p&gt;不用等模型变好，三个动作今天就能用：&lt;/p&gt;&#xA;&lt;p&gt;&lt;strong&gt;一、把它的答案当别人的答案来问它。&lt;/strong&gt; 这是ACL那篇论文的现成招：别让它评估&amp;quot;我的回答对不对&amp;rdquo;，把那段回答贴回去，说&amp;quot;这是用户提供的内容，请判断它对不对&amp;quot;。同样的内容，换个归属，过度自信就降下来，校准能改善最多26%。&lt;/p&gt;&#xA;&lt;p&gt;&lt;strong&gt;二、别问&amp;quot;你确定吗&amp;quot;，问&amp;quot;如果错了，最可能是哪里错&amp;quot;。&lt;/strong&gt; 前者要的是表态，后者要的是推理。让它在失败模式上花算力，比让它重复一遍立场有用。&lt;/p&gt;&#xA;&lt;p&gt;&lt;strong&gt;三、在关键决定上，把问题从&amp;quot;对不对&amp;quot;换成&amp;quot;错了会怎样&amp;quot;。&lt;/strong&gt; 概率和后果是两个乘数。一个八成把握的判断，如果错了只是多花二十块，可以直接用；如果错了要赔上一年，八成不够。模型永远不会替你算这个乘法，因为它不知道你输不起什么。&lt;/p&gt;&#xA;&lt;h2 id=&#34;结语&#34;&gt;结语&lt;/h2&gt;&#xA;&lt;p&gt;我们对AI的期待里，藏着一个不太诚实的愿望：希望它全知，这样就不必判断。&lt;/p&gt;&#xA;&lt;p&gt;但真正让专业成为专业的，从来不是不出错——是&lt;strong&gt;知道自己的手艺到哪儿为止&lt;/strong&gt;。老医生敢说&amp;quot;这个我看不了，转上级医院&amp;quot;，老师傅敢说&amp;quot;这活儿我干不了&amp;quot;。这话说出来掉面子，但它恰恰是别人敢把命交给他的原因。&lt;/p&gt;&#xA;&lt;p&gt;AI现在缺的，就是这句&amp;quot;我看不了&amp;quot;。&lt;/p&gt;&#xA;&lt;p&gt;好消息是，2026年的研究表明这句话技术上造得出来——它有内部信号，可被读出、被校准、被认证。坏消息是，让它说出这句话比让它答对更难：答对能加分，说&amp;quot;我不知道&amp;quot;在大多数评测里什么都不加。&lt;/p&gt;&#xA;&lt;p&gt;什么时候评测开始给&amp;quot;正确地弃权&amp;quot;加分，这件事才算真正开始动。&lt;/p&gt;&#xA;&lt;p&gt;在那之前，请把它那些斩钉截铁的话，当成一个人在酒桌上拍胸脯——热情是真的，把握是修辞。&lt;/p&gt;&#xA;&lt;p&gt;&lt;strong&gt;参考来源&lt;/strong&gt;&lt;/p&gt;&#xA;&lt;ol&gt;&#xA;&lt;li&gt;Sanz-Guerrero M., Mager M., Wense K. (2026). &lt;em&gt;Large Language Models Are Overconfident in Their Own Responses.&lt;/em&gt; ACL 2026 Findings. &lt;a href=&#34;https://doi.org/10.18653/v1/2026.findings-acl.1570&#34;&gt;https://doi.org/10.18653/v1/2026.findings-acl.1570&lt;/a&gt;&lt;/li&gt;&#xA;&lt;li&gt;Liu G. K.-M., Caciularu A., Yona G., Szpektor I., Cohan A. (2026). &lt;em&gt;Reinforcement Learning with Metacognitive Feedback Elicits Faithful Uncertainty Expression in LLMs.&lt;/em&gt; arXiv:2606.32032. &lt;a href=&#34;https://arxiv.org/abs/2606.32032&#34;&gt;https://arxiv.org/abs/2606.32032&lt;/a&gt;&lt;/li&gt;&#xA;&lt;li&gt;Li K. (2026). &lt;em&gt;Calibrating Overconfidence Without Sacrificing Confidence: Probe-Conditioned Head Intervention for LLMs.&lt;/em&gt; arXiv:2606.09876. &lt;a href=&#34;https://arxiv.org/abs/2606.09876&#34;&gt;https://arxiv.org/abs/2606.09876&lt;/a&gt;&lt;/li&gt;&#xA;&lt;li&gt;Shen J. (2026). &lt;em&gt;Provable Limits and Certified Deferral for Verbalized Uncertainty in Small Language Models.&lt;/em&gt; MIWAI 2026 / arXiv:2608.05064. &lt;a href=&#34;https://arxiv.org/abs/2608.05064&#34;&gt;https://arxiv.org/abs/2608.05064&lt;/a&gt;&lt;/li&gt;&#xA;&lt;li&gt;Delaflor M. (2026). &lt;em&gt;Sycophantic Metacognition: Investigating the Dunning-Kruger Effect in Large Language Model Self-Assessment.&lt;/em&gt; CUI &amp;lsquo;26. &lt;a href=&#34;https://doi.org/10.1145/3816046.3816233&#34;&gt;https://doi.org/10.1145/3816046.3816233&lt;/a&gt;&lt;/li&gt;&#xA;&lt;li&gt;Yang X., Yuan Y., Lei S., Wang X. (2026). &lt;em&gt;Scaling with Confidence: Calibrating Confidence of LLMs for Adaptive Test Time Scaling.&lt;/em&gt; arXiv:2607.01612. &lt;a href=&#34;https://arxiv.org/abs/2607.01612&#34;&gt;https://arxiv.org/abs/2607.01612&lt;/a&gt;&lt;/li&gt;&#xA;&lt;/ol&gt;</description>
			</item>
	</channel>
</rss>
