AI被教得越'乖'就越笨？——一条68年前的控制论老定律，解释了2026年最贵的一笔'税'

Thu, 05 Nov 2026 03:15:00 +0800

引言

你问AI一个完全正常的问题——比如"这段合同里有哪些对我不利的地方"，它回你一大段"我理解您的关切"“建议咨询专业律师"“我无法提供法律意见”，绕了三圈，一个字都没答。你让它写一个刻薄、阴暗的角色，它写出来温和、体面、克制。

我们通常的解释是：“它变笨了。”

这个感觉不是错觉，它有个学术名字，叫对齐税——模型为了变得安全、符合人类偏好而接受训练后，某些能力反而退步了，这笔退步就是"税”。

但2026年几篇论文把这件事讲得比"变笨了"精确得多，共同结论值得一写：这笔税里的大部分，不是安全的价格，而是我们对齐方式太粗糙的价格。

要理解这一点，得先回到1956年。

一、阿什比定律：复杂性只能用复杂性来应对

1956年，W·罗斯·阿什比在《控制论导论》里提出了必要多样性定律：一个控制系统的反应种类，必须至少等于它所面对的变化种类，否则它控制不住。

道理很朴素：控制就是用系统的动作去抵消外界扰动。外界有20种可能状态，而控制器只有"开"和"关"两种反应，那无论怎么设计最多应对2种，剩下18种一定漏过去。这不是技术问题，是算术问题。

它的推论很反直觉：真正的稳定不是把变化压掉，而是让系统拥有足够多的应对方式。

举个小区门口的例子。物业规定保安只有两种动作：放行、拦住。那外卖、快递、访客、维修工全被卡在同一个闸口——不是保安不负责，是反应空间被规定死了。换成六档（放行、登记、电话确认、陪同、联系业主、拒绝），效率立刻不一样，该拦的照样拦住。

你给一个系统多少种恰当的反应方式，决定了它能应付多少种现实。

二、“安全税”：这笔钱交在哪

对齐税不是新发现。2022年InstructGPT论文就写明了一个尴尬结果：经过人类反馈训练后，模型的回答人类更喜欢，但在若干标准能力基准上比原始模型更差。

到2026年，规模有了更清楚的测量。据一篇中文综述的梳理，一些推理模型做完安全对齐后，在高难度数学与科学基准上平均准确率掉了7%到30%不等。

另一类代价更贴近日常：过度拒绝。安全机制过度激活，连中性问题也防御性拒答。你问"如何杀死一个进程"，它先跟你谈生命伦理。

所以"税"是两张单子：能力下降，和过度谨慎。合起来，就是那个"变笨了"。

三、为什么这么贵？因为过去我们在"全局征税"

这是2026年最有意思的转折：几组研究从不同角度指向同一结论——安全这件事，在模型内部占的地方非常小。

一篇研究用电路分析发现，即使没做过任何对齐训练的原始模型，内部也已经存在"拒绝回路"，把它们切掉，模型对有害输入完全不再拒绝。安全对齐做的事，本质上就是把这些回路加强并改写；而对齐推进中，回路结构逐层变化，开始波及与"有用性"相关的参数——论文认为，对齐税很可能就是这么来的：拒绝回路的更新，顺带改坏了旁边干活的零件。

还有一篇讲得最直白：安全特征在输出分布里本来就稀疏，所以对齐不需要"全局权衡"，只需局部修改——只用100条有害样本、不到以往数据量的1%，就在七个安全基准上拿到强表现。

几何派更漂亮。NSPO的思路是：既然通用能力占据参数空间的某些方向，那就在"与这些方向正交的零空间"里做安全更新，一阶上不影响原有能力。实验中通用基准的下降被压到0.5%左右。

这些工作放在一起，指向一个不客气的判断：**过去我们是拿大锤修表。**整块参数一起动，安全信号一进来，连数学、代码、语言流畅度一起被推着走。该改的改了，不该改的也改了——那笔税，很大一部分是这么白交的。

四、但有一笔税，谁也免不了

但把手术做精细，税就能归零吗？我认为不能。2026年一篇论文专门算这件事，结论值得记住：**对齐税可以拆成两部分。**一部分是"打包残差"，来自有限维表示装不下所有东西，随模型维度增大而趋于消失——这是工程问题。另一部分是"不可消除的税"，由数据和世界的结构本身决定，规模再大也消不掉。

用几何的话说：安全方向和能力方向之间有一个夹角。夹角不为零，把安全方向投影到能力空间上就一定掉一块。这不是算法不够聪明，是这两件事本来就不完全同向。

说白了：**“知道怎么做"和"被允许做"之间，确实存在真实的冲突。**一个能精准描述"如何入侵服务器"的模型，和一个永不输出入侵步骤的模型，在能力上不是同一台机器。这也正是阿什比定律的另一面：任何压缩都是有损的，覆盖不到的那部分不会消失，它只是变成误判、变成拒答、变成"这很复杂”。

所以"零税对齐"不成立。成立的表述是：把工程税压到接近零，然后诚实承认剩下那一小块，并想清楚愿意为它放弃什么。

五、更尴尬的是：我们交的税，可能买到的是"表面安全"

如果故事到此结束还算体面。但2025年拿了ICLR最佳论文奖、至今仍被反复引用的那项研究，把这份体面撕开了。它发现：现在主流的安全对齐，几乎只修改了模型输出的前几个token。

在330条有害指令上测试，96%以上的回答都以"I cannot"或"I apologize"开头。逐位置差异分析显示，对齐模型和原始模型的分布差异在第4、5个token处达到峰值，到第20个token之后几乎归零——除了开头那一小段，模型后面的行为和没对齐过几乎一样。

为什么？因为训练信号只奖励"开头拒绝"这个动作：标注员很少写"先输出有害内容再改成拒绝"这种样本，而强化学习中模型一旦学会用拒绝开头，奖励模型根本看不到后面发生了什么。

这个现象叫浅层安全对齐，它带来一个不划算的结论：你付了能力税，买到的却只是门口的一道帘子。

研究者用实验证明了这道帘子多薄：给原始模型预填几个"我不能"的词，它立刻变得几乎和对齐模型一样安全；反过来，在已经开始的拒绝回答后面插一小段有害内容，整个生成就会被"自回归一致性"拖着走——插进去的哪怕极短，也够用。

这里藏着一个更值得记住的判断：**当你只考核一个行为，你得到的就是那个行为，而不是它背后的东西。**模型学会了说"不"，但没学会判断"该不该"。这两件事在训练信号里看起来一模一样，在真实世界里差得很远。

六、把镜头转回来：这不只是AI的问题

阿什比定律和古德哈特定律（“当一个指标变成目标，它就不再是好指标”）其实是同一件事的两个方向：你以为你在控制系统，其实系统在适应你的控制方式。

幼儿园规定"不许跑"，孩子确实不摔了，但也不探索了——运动能力的发展被一起收走，这笔税没人记账，但真实存在。

家里的烟雾报警器调到最灵敏，头两周你觉得很安全，第三周你炒菜前先把它拆下来——**过度安全的第一后果，是用户绕过安全。**放到AI行业，就是用户转头去用没做过对齐的开源模型。这可能比"变笨"严重得多——人们不会选择更安全，人们会选择更省事的。

结语

回到开头那个绕圈子的AI。

它变笨，不是因为工程师不聪明，也不是因为"安全必然牺牲能力"这种听起来很有道理的宿命论。更准确的说法是：**我们过去用一套反应种类很少的控制器，去管一个变化种类极多的系统。**按阿什比的说法，这个配置注定要漏，漏掉的部分就以"变笨"和"乱拒绝"的形式出现在你面前。

2026年的研究给出的方向很清楚：把手术做精细，只在真正属于安全的那几个方向上动刀，这把税就从"必然"变成了"可以管理"。

但更重要的，是我觉得该换个判据：

判断一个系统是否真的安全，不该看它会不会说"不"，而该看它在说"不"之前，有没有真的听懂你在问什么。

只会说"不"的系统，是最省事的系统，也是最脆弱的系统。它的安全不来自理解，只来自一道帘子。

参考来源

W. Ross Ashby, An Introduction to Cybernetics, Chapman & Hall, 1956.
Ouyang et al., Training language models to follow instructions with human feedback, arXiv:2203.02155 — https://arxiv.org/abs/2203.02155
Qi et al., Safety Alignment Should Be Made More Than Just a Few Tokens Deep, ICLR 2025 最佳论文, arXiv:2406.05946 — https://arxiv.org/abs/2406.05946
Niu et al., Mitigating the Safety Alignment Tax with Null-Space Constrained Policy Optimization, ICLR 2026, arXiv:2512.11391 — https://arxiv.org/abs/2512.11391
Li et al., SafeSteer: Localized On-Policy Distillation for Efficient Safety Alignment, arXiv:2606.02530 — https://arxiv.org/abs/2606.02530
Yu et al., SafeEvo: Deciphering the Safety Alignment Mechanism and Evolution in Language Models, arXiv:2610.09600 — https://arxiv.org/abs/2610.09600
R. Young, What Is the Alignment Tax?, arXiv:2603.00047 — https://arxiv.org/abs/2603.00047
《大模型安全对齐中文数据集综述：现状与展望》，《计算机科学》2026 — https://www.jsjkx.com/CN/article/openArticlePDF.jsp?id=24487

安全对齐 on 灵语AI