<?xml version="1.0" encoding="utf-8" standalone="yes"?>
<rss version="2.0" xmlns:atom="http://www.w3.org/2005/Atom">
	<channel>
		<title>信用分配 on 灵语AI</title>
		<link>https://lingyu7.com/tags/%E4%BF%A1%E7%94%A8%E5%88%86%E9%85%8D/</link>
		<description>Recent content in 信用分配 on 灵语AI</description>
		<generator>Hugo</generator>
		<language>zh-CN</language>
		
		
		
		
			<lastBuildDate>Sat, 14 Nov 2026 03:10:00 +0800</lastBuildDate>
		
			<atom:link href="https://lingyu7.com/tags/%E4%BF%A1%E7%94%A8%E5%88%86%E9%85%8D/index.xml" rel="self" type="application/rss+xml" />
			<item>
				<title>AI做错一道题，为什么要把整本练习册重写一遍——&#39;连坐式&#39;学习，是机器最贵的一笔浪费</title>
				<link>https://lingyu7.com/posts/credit-assignment-ai-blame-every-step/</link>
				<pubDate>Sat, 14 Nov 2026 03:10:00 +0800</pubDate>
				<guid>https://lingyu7.com/posts/credit-assignment-ai-blame-every-step/</guid>
				<description>&lt;h2 id=&#34;引言&#34;&gt;引言&lt;/h2&gt;&#xA;&lt;p&gt;孩子数学考了68分。你是让他把整张卷子重抄十遍，还是坐下来，一起找出第三大题那个符号抄错的地方？&lt;/p&gt;&#xA;&lt;p&gt;大部分家长会选后者。道理太简单了：抄十遍，只会让他讨厌数学；找到那一处，下次才可能改。&lt;/p&gt;&#xA;&lt;p&gt;但如果我说，过去几年训练AI推理模型的主流方法，用的恰恰是前者——你会不会觉得有点荒谬？&lt;/p&gt;&#xA;&lt;p&gt;一段推理，AI写了100步，最后答案错了。它得到的反馈只有一句：这100步都不好。于是它把前面99步正确的做法一起改弱了，把中间靠运气蒙对的错误步骤一起改强了。这种&amp;quot;一人犯错、全班罚站&amp;quot;的机制，在强化学习里有个正经名字：&lt;strong&gt;信用分配问题&lt;/strong&gt;（credit assignment）——该把功劳和过错，记到哪一步头上。&lt;/p&gt;&#xA;&lt;p&gt;2026年，这个老问题突然密集地出了一批成果。不是因为它是新问题，而是因为当模型的思考链从5步变成500步，连坐的代价开始变得不可承受。&lt;/p&gt;&#xA;&lt;h2 id=&#34;一连坐一种高效的管理术一种低效的学习法&#34;&gt;一、连坐：一种高效的管理术，一种低效的学习法&lt;/h2&gt;&#xA;&lt;p&gt;先讲清机制。今天训练推理模型最主流的范式叫 RLVR——可验证奖励强化学习。它把&amp;quot;答案对不对&amp;quot;当作唯一信号：数学题对答案、代码跑单测、逻辑题形式化验证。奖励客观、可自动判定，这是它比&amp;quot;人类打分&amp;quot;更强的地方。&lt;/p&gt;&#xA;&lt;p&gt;问题出在粒度上。一道题，模型生成8条不同的推理路径，谁最后答对了，整条路径加权重；答错了，整条路径减权重。这就是 GRPO 的做法。&lt;/p&gt;&#xA;&lt;p&gt;于是卡片里那句话读起来有点刺人：一条100步的推理链，只要最终答案错了，所有100步都受惩罚；可能前99步都是对的，只有最后一步错了。&lt;strong&gt;均匀惩罚不只是效率低，它还会&amp;quot;纠正&amp;quot;本来正确的步骤。&lt;/strong&gt;&lt;/p&gt;&#xA;&lt;p&gt;这个场景你大概在公司里见过。项目做砸了，复盘会上老板说：&amp;ldquo;这个项目，每个人都有责任。&amp;ldquo;听起来公允、体面、不得罪人。实际效果是——没人知道该改哪个动作。第二年同样的坑，大家又踩一遍。&lt;/p&gt;&#xA;&lt;p&gt;&lt;strong&gt;一个系统如果只能判断&amp;quot;整体好不好&amp;rdquo;，它就永远学不会&amp;quot;哪里该改&amp;rdquo;。&lt;/strong&gt; 这句话对模型成立，对团队、对家庭教育，一样成立。&lt;/p&gt;&#xA;&lt;h2 id=&#34;二一个数字一半的训练数据是废的&#34;&gt;二、一个数字：一半的训练数据是废的&lt;/h2&gt;&#xA;&lt;p&gt;2026年10月的一项工作（FAULT，arXiv:2610.01161）把这件事量化了，结论比想象中难看。&lt;/p&gt;&#xA;&lt;p&gt;它的出发点是长程智能体任务——比如让AI在虚拟房间里连续完成&amp;quot;找到苹果、洗干净、放进冰箱&amp;quot;这种多步操作。训练时，一组8条轨迹跑完，如果&lt;strong&gt;全部失败&lt;/strong&gt;，那么终端奖励一模一样，全是0。奖励一样，就没有&amp;quot;谁比谁好&amp;quot;的差别，梯度为零。这条数据跑完了，但什么都没学到。&lt;/p&gt;&#xA;&lt;p&gt;他们统计了在 ALFWorld 这个基准上，各方法能拿到有效学习信号的轨迹组比例：&lt;/p&gt;&#xA;&lt;ul&gt;&#xA;&lt;li&gt;GRPO：&lt;strong&gt;41%&lt;/strong&gt;&lt;/li&gt;&#xA;&lt;li&gt;更强的 GiGPO：72%&lt;/li&gt;&#xA;&lt;li&gt;FAULT：&lt;strong&gt;95%&lt;/strong&gt;，而且把&amp;quot;全部失败&amp;quot;和&amp;quot;大部分全部成功&amp;quot;的组都用上了&lt;/li&gt;&#xA;&lt;/ul&gt;&#xA;&lt;p&gt;顺带一个定位指标：在一条失败的轨迹里，各方法给各步骤打的&amp;quot;责任分&amp;quot;排序，能否把真正致命的那一步排到前面。FAULT 的平均倒数排名是 0.494，随机排序是 0.266——差不多翻倍。&lt;/p&gt;&#xA;&lt;p&gt;翻译一下：&lt;strong&gt;你以为在训练，其实超过一半的算力在空转。而空转最严重的地方，恰好是最难、最该学的那一类任务——全部失败的那些。&lt;/strong&gt;&lt;/p&gt;&#xA;&lt;p&gt;这件事反直觉的地方在于：我们习惯认为&amp;quot;成功经验更值钱&amp;quot;。但在学习系统里，全部失败的那次，信息量往往最大——它只是被粗糙的评分表扔掉了。&lt;/p&gt;&#xA;&lt;h2 id=&#34;三让ai自己指认我大概是这一步错了&#34;&gt;三、让AI自己指认：我大概是这一步错了&lt;/h2&gt;&#xA;&lt;p&gt;另一条路线更有意思：既然外部评分太粗，那就让模型自己指。&lt;/p&gt;&#xA;&lt;p&gt;2026年5月的一项研究（arXiv:2605.25507）提出两个方法。RRPO 是随机挑一个中间步骤&amp;quot;重置&amp;quot;，从那里重新往下写几遍，看不同写法最后的结果差异，反推这一步的决策质量。SRPO 更进一步：&lt;strong&gt;让模型自己判断哪一步最可能出错&lt;/strong&gt;——评估每一步的置信度，挑置信度最低的那一步作为重置点，再从这个点采样多种续法。&lt;/p&gt;&#xA;&lt;p&gt;结论是 SRPO 稳定优于 RRPO，也优于 GRPO，而且不需要额外的奖励模型或人工标注，只靠模型自己。&lt;/p&gt;&#xA;&lt;p&gt;打个比方：家里水管漏了。你不会把整面墙砸掉重砌，你会先判断&amp;quot;最可能是这段接头渗水&amp;quot;，然后只拆这一小段，换不同垫圈试。拆对地方，一次就修好；拆错地方，越修越贵。&lt;/p&gt;&#xA;&lt;p&gt;这里藏着一个容易被忽略的前提：&lt;strong&gt;模型得知道自己哪一步不确定。&lt;/strong&gt; 一个不会说&amp;quot;我这儿有点虚&amp;quot;的模型，只能靠随机猜。所以&amp;quot;知道自己不确定&amp;quot;不是软弱，它本身就是一种可训练、可变现的能力。&lt;/p&gt;&#xA;&lt;h2 id=&#34;四还有两条路往下拆到词往上把分传回来&#34;&gt;四、还有两条路：往下拆到词，往上把分传回来&lt;/h2&gt;&#xA;&lt;p&gt;同一时期还有两个方向，思路相反，目标一致。&lt;/p&gt;&#xA;&lt;p&gt;一条往下拆。过程奖励模型（PRM）能给&amp;quot;这一步好不好&amp;quot;打分，但一步几百个 token，还是太粗。CVPR 2026 的 P2T（arXiv:2610.18704）把粗粒度的过程奖励，按&amp;quot;每个词对最终分数的影响&amp;quot;分解下去——把某个词换成空词，看分数掉多少，用一次前向反向近似算完，不需要额外训练奖励模型。在 MathVista 上，它比只用结果奖励高 4.9%。&lt;/p&gt;&#xA;&lt;p&gt;一条往上归。TreeOPSD（arXiv:2610.23181）把多轮任务当成一棵树：从同一个前缀分叉出不同后续，然后把最终奖励沿着树递归往回传，得到每一轮该拿多少信用。Qwen3-30B 那一档模型在 Deep Research 场景下，平均比 GRPO 高 4.97 分。&lt;/p&gt;&#xA;&lt;p&gt;一条把颗粒度压到词，一条把信号从终点传回中途。共同点是：&lt;strong&gt;都在为&amp;quot;更细的归因&amp;quot;额外付出计算。&lt;/strong&gt; 没有人白拿到精度——精度是买来的，只是买得越来越便宜。&lt;/p&gt;&#xA;&lt;h2 id=&#34;五真正的结论位置比总量更重要&#34;&gt;五、真正的结论：位置比总量更重要&lt;/h2&gt;&#xA;&lt;p&gt;最后这项来自 NVIDIA 和 KAIST 的工作（AXPO，arXiv:2605.28774），我觉得是这批研究里最值得普通人记住的一条。&lt;/p&gt;</description>
			</item>
	</channel>
</rss>
