引言
孩子数学考了68分。你是让他把整张卷子重抄十遍,还是坐下来,一起找出第三大题那个符号抄错的地方?
大部分家长会选后者。道理太简单了:抄十遍,只会让他讨厌数学;找到那一处,下次才可能改。
但如果我说,过去几年训练AI推理模型的主流方法,用的恰恰是前者——你会不会觉得有点荒谬?
一段推理,AI写了100步,最后答案错了。它得到的反馈只有一句:这100步都不好。于是它把前面99步正确的做法一起改弱了,把中间靠运气蒙对的错误步骤一起改强了。这种"一人犯错、全班罚站"的机制,在强化学习里有个正经名字:信用分配问题(credit assignment)——该把功劳和过错,记到哪一步头上。
2026年,这个老问题突然密集地出了一批成果。不是因为它是新问题,而是因为当模型的思考链从5步变成500步,连坐的代价开始变得不可承受。
一、连坐:一种高效的管理术,一种低效的学习法
先讲清机制。今天训练推理模型最主流的范式叫 RLVR——可验证奖励强化学习。它把"答案对不对"当作唯一信号:数学题对答案、代码跑单测、逻辑题形式化验证。奖励客观、可自动判定,这是它比"人类打分"更强的地方。
问题出在粒度上。一道题,模型生成8条不同的推理路径,谁最后答对了,整条路径加权重;答错了,整条路径减权重。这就是 GRPO 的做法。
于是卡片里那句话读起来有点刺人:一条100步的推理链,只要最终答案错了,所有100步都受惩罚;可能前99步都是对的,只有最后一步错了。均匀惩罚不只是效率低,它还会"纠正"本来正确的步骤。
这个场景你大概在公司里见过。项目做砸了,复盘会上老板说:“这个项目,每个人都有责任。“听起来公允、体面、不得罪人。实际效果是——没人知道该改哪个动作。第二年同样的坑,大家又踩一遍。
一个系统如果只能判断"整体好不好”,它就永远学不会"哪里该改”。 这句话对模型成立,对团队、对家庭教育,一样成立。
二、一个数字:一半的训练数据是废的
2026年10月的一项工作(FAULT,arXiv:2610.01161)把这件事量化了,结论比想象中难看。
它的出发点是长程智能体任务——比如让AI在虚拟房间里连续完成"找到苹果、洗干净、放进冰箱"这种多步操作。训练时,一组8条轨迹跑完,如果全部失败,那么终端奖励一模一样,全是0。奖励一样,就没有"谁比谁好"的差别,梯度为零。这条数据跑完了,但什么都没学到。
他们统计了在 ALFWorld 这个基准上,各方法能拿到有效学习信号的轨迹组比例:
- GRPO:41%
- 更强的 GiGPO:72%
- FAULT:95%,而且把"全部失败"和"大部分全部成功"的组都用上了
顺带一个定位指标:在一条失败的轨迹里,各方法给各步骤打的"责任分"排序,能否把真正致命的那一步排到前面。FAULT 的平均倒数排名是 0.494,随机排序是 0.266——差不多翻倍。
翻译一下:你以为在训练,其实超过一半的算力在空转。而空转最严重的地方,恰好是最难、最该学的那一类任务——全部失败的那些。
这件事反直觉的地方在于:我们习惯认为"成功经验更值钱"。但在学习系统里,全部失败的那次,信息量往往最大——它只是被粗糙的评分表扔掉了。
三、让AI自己指认:我大概是这一步错了
另一条路线更有意思:既然外部评分太粗,那就让模型自己指。
2026年5月的一项研究(arXiv:2605.25507)提出两个方法。RRPO 是随机挑一个中间步骤"重置",从那里重新往下写几遍,看不同写法最后的结果差异,反推这一步的决策质量。SRPO 更进一步:让模型自己判断哪一步最可能出错——评估每一步的置信度,挑置信度最低的那一步作为重置点,再从这个点采样多种续法。
结论是 SRPO 稳定优于 RRPO,也优于 GRPO,而且不需要额外的奖励模型或人工标注,只靠模型自己。
打个比方:家里水管漏了。你不会把整面墙砸掉重砌,你会先判断"最可能是这段接头渗水",然后只拆这一小段,换不同垫圈试。拆对地方,一次就修好;拆错地方,越修越贵。
这里藏着一个容易被忽略的前提:模型得知道自己哪一步不确定。 一个不会说"我这儿有点虚"的模型,只能靠随机猜。所以"知道自己不确定"不是软弱,它本身就是一种可训练、可变现的能力。
四、还有两条路:往下拆到词,往上把分传回来
同一时期还有两个方向,思路相反,目标一致。
一条往下拆。过程奖励模型(PRM)能给"这一步好不好"打分,但一步几百个 token,还是太粗。CVPR 2026 的 P2T(arXiv:2610.18704)把粗粒度的过程奖励,按"每个词对最终分数的影响"分解下去——把某个词换成空词,看分数掉多少,用一次前向反向近似算完,不需要额外训练奖励模型。在 MathVista 上,它比只用结果奖励高 4.9%。
一条往上归。TreeOPSD(arXiv:2610.23181)把多轮任务当成一棵树:从同一个前缀分叉出不同后续,然后把最终奖励沿着树递归往回传,得到每一轮该拿多少信用。Qwen3-30B 那一档模型在 Deep Research 场景下,平均比 GRPO 高 4.97 分。
一条把颗粒度压到词,一条把信号从终点传回中途。共同点是:都在为"更细的归因"额外付出计算。 没有人白拿到精度——精度是买来的,只是买得越来越便宜。
五、真正的结论:位置比总量更重要
最后这项来自 NVIDIA 和 KAIST 的工作(AXPO,arXiv:2605.28774),我觉得是这批研究里最值得普通人记住的一条。
他们训练多模态智能体时发现一个结构性裂缝:模型"想"和"做"的难度不对称。内部推理是自包含的、低方差的;调用工具是外部的、高方差的。结果在标准 GRPO 里,工具调用只出现在约 30% 的轨迹中;而一旦出现,40% 的情况下整组全错——学习信号恰好在最需要它的地方被压没了。
AXPO 的做法克制得惊人:只在这些"全错工具调用组"上重采样,别的地方不动,不加参数、不改架构。
效果:多加 25% 的重采样预算,比多加 100% 的 rollout 预算提升更大。 8B 的模型在 Pass@4 上超过了 32B 的基线。
一句话总结:把同样的钱花在对的位置,胜过把预算翻倍撒在错的位置上。
这句话放在人身上也成立。很多团队做年度复盘,花两周时间写材料、开三场会、出一份40页报告——但报告里全是"整体不错、仍有提升空间"这种终端奖励,一个具体动作都没定位到。两周的预算,买回来的信息量接近零。
六、把这条规律搬回自己身上
四个可以直接用的动作:
1. 复盘要定位到动作,不是定位到人。 “这次没做好"是终端奖励,等于没有信号;“周四那封邮件我晚回了一天,客户当天就去比价了"才是步骤级奖励。
2. 全部失败的那次,才是最该学的那次。 这是GRPO最大的浪费点,也是大多数人下意识的回避点——失败的事不想再翻。但恰恰是它,信息密度最高。
3. 允许自己说"这步我不确定”。 SRPO 的效率来自自我定位。人对自己的判断如果只有"行/不行"两档,也就只能靠随机试错。
4. 别在明显对的步骤上反复纠错。 连坐最坏的后果不是没学到,而是把对的改坏了。这一点在带人、教孩子时尤其常见:为了惩罚一个错,把整套正确的习惯一起推翻。
结语
这两年关于AI进步的叙述,大多围绕"参数更大、算得更多”。但2026年这批关于信用分配的工作,讲的是另一件事:学习的效率,取决于你能把功劳和过错分到多细。
一个只会说"这次不行"的老师,教不出高手。一个只会说"这次不行"的老板,带不出团队。一个只会说"这次不行"的系统,也训不出会推理的模型。
分数是终点,但学习发生在中途的每一步上。分不清哪一步错了,就只能整体重来——这是机器最贵的一笔浪费,也是人最容易犯的懒。
参考来源
- Samanta, A., Magesh, A., Jain, A. et al. Credit Assignment with Resets in Language Model Reasoning. arXiv:2605.25507 (2026) — https://arxiv.org/abs/2605.25507
- My FAULT: Self-Diagnosis as Credit Assignment in Self-Evolving Agentic Reinforcement Learning. arXiv:2610.01161 (2026) — https://arxiv.org/abs/2610.01161
- Tree-Aware Posterior Distillation for Long-Horizon Agentic Reinforcement Learning (TreeOPSD). arXiv:2610.23181 (2026) — https://arxiv.org/abs/2610.23181
- Unlocking Token Rewards via Training-Free Reward Attribution (P2T). CVPR 2026, arXiv:2610.18704 — https://arxiv.org/abs/2610.18704
- Kang, M., Diao, S., Hachiuma, R. et al. Agent Explorative Policy Optimization for Multimodal Agentic Reasoning (AXPO). arXiv:2605.28774 (2026), NVIDIA & KAIST — https://arxiv.org/abs/2605.28774