控制论 on 灵语AI

AI被教得越'乖'就越笨？——一条68年前的控制论老定律，解释了2026年最贵的一笔'税'

Thu, 05 Nov 2026 03:15:00 +0800

引言

你问AI一个完全正常的问题——比如"这段合同里有哪些对我不利的地方"，它回你一大段"我理解您的关切"“建议咨询专业律师"“我无法提供法律意见”，绕了三圈，一个字都没答。你让它写一个刻薄、阴暗的角色，它写出来温和、体面、克制。

我们通常的解释是：“它变笨了。”

这个感觉不是错觉，它有个学术名字，叫对齐税——模型为了变得安全、符合人类偏好而接受训练后，某些能力反而退步了，这笔退步就是"税”。

但2026年几篇论文把这件事讲得比"变笨了"精确得多，共同结论值得一写：这笔税里的大部分，不是安全的价格，而是我们对齐方式太粗糙的价格。

要理解这一点，得先回到1956年。

一、阿什比定律：复杂性只能用复杂性来应对

1956年，W·罗斯·阿什比在《控制论导论》里提出了必要多样性定律：一个控制系统的反应种类，必须至少等于它所面对的变化种类，否则它控制不住。

道理很朴素：控制就是用系统的动作去抵消外界扰动。外界有20种可能状态，而控制器只有"开"和"关"两种反应，那无论怎么设计最多应对2种，剩下18种一定漏过去。这不是技术问题，是算术问题。

它的推论很反直觉：真正的稳定不是把变化压掉，而是让系统拥有足够多的应对方式。

举个小区门口的例子。物业规定保安只有两种动作：放行、拦住。那外卖、快递、访客、维修工全被卡在同一个闸口——不是保安不负责，是反应空间被规定死了。换成六档（放行、登记、电话确认、陪同、联系业主、拒绝），效率立刻不一样，该拦的照样拦住。

你给一个系统多少种恰当的反应方式，决定了它能应付多少种现实。

二、“安全税”：这笔钱交在哪

对齐税不是新发现。2022年InstructGPT论文就写明了一个尴尬结果：经过人类反馈训练后，模型的回答人类更喜欢，但在若干标准能力基准上比原始模型更差。

到2026年，规模有了更清楚的测量。据一篇中文综述的梳理，一些推理模型做完安全对齐后，在高难度数学与科学基准上平均准确率掉了7%到30%不等。

另一类代价更贴近日常：过度拒绝。安全机制过度激活，连中性问题也防御性拒答。你问"如何杀死一个进程"，它先跟你谈生命伦理。

所以"税"是两张单子：能力下降，和过度谨慎。合起来，就是那个"变笨了"。

三、为什么这么贵？因为过去我们在"全局征税"

这是2026年最有意思的转折：几组研究从不同角度指向同一结论——安全这件事，在模型内部占的地方非常小。

一篇研究用电路分析发现，即使没做过任何对齐训练的原始模型，内部也已经存在"拒绝回路"，把它们切掉，模型对有害输入完全不再拒绝。安全对齐做的事，本质上就是把这些回路加强并改写；而对齐推进中，回路结构逐层变化，开始波及与"有用性"相关的参数——论文认为，对齐税很可能就是这么来的：拒绝回路的更新，顺带改坏了旁边干活的零件。

还有一篇讲得最直白：安全特征在输出分布里本来就稀疏，所以对齐不需要"全局权衡"，只需局部修改——只用100条有害样本、不到以往数据量的1%，就在七个安全基准上拿到强表现。

几何派更漂亮。NSPO的思路是：既然通用能力占据参数空间的某些方向，那就在"与这些方向正交的零空间"里做安全更新，一阶上不影响原有能力。实验中通用基准的下降被压到0.5%左右。

这些工作放在一起，指向一个不客气的判断：**过去我们是拿大锤修表。**整块参数一起动，安全信号一进来，连数学、代码、语言流畅度一起被推着走。该改的改了，不该改的也改了——那笔税，很大一部分是这么白交的。

四、但有一笔税，谁也免不了

但把手术做精细，税就能归零吗？我认为不能。2026年一篇论文专门算这件事，结论值得记住：**对齐税可以拆成两部分。**一部分是"打包残差"，来自有限维表示装不下所有东西，随模型维度增大而趋于消失——这是工程问题。另一部分是"不可消除的税"，由数据和世界的结构本身决定，规模再大也消不掉。

用几何的话说：安全方向和能力方向之间有一个夹角。夹角不为零，把安全方向投影到能力空间上就一定掉一块。这不是算法不够聪明，是这两件事本来就不完全同向。

说白了：**“知道怎么做"和"被允许做"之间，确实存在真实的冲突。**一个能精准描述"如何入侵服务器"的模型，和一个永不输出入侵步骤的模型，在能力上不是同一台机器。这也正是阿什比定律的另一面：任何压缩都是有损的，覆盖不到的那部分不会消失，它只是变成误判、变成拒答、变成"这很复杂”。

所以"零税对齐"不成立。成立的表述是：把工程税压到接近零，然后诚实承认剩下那一小块，并想清楚愿意为它放弃什么。

五、更尴尬的是：我们交的税，可能买到的是"表面安全"

如果故事到此结束还算体面。但2025年拿了ICLR最佳论文奖、至今仍被反复引用的那项研究，把这份体面撕开了。它发现：现在主流的安全对齐，几乎只修改了模型输出的前几个token。

在330条有害指令上测试，96%以上的回答都以"I cannot"或"I apologize"开头。逐位置差异分析显示，对齐模型和原始模型的分布差异在第4、5个token处达到峰值，到第20个token之后几乎归零——除了开头那一小段，模型后面的行为和没对齐过几乎一样。

为什么？因为训练信号只奖励"开头拒绝"这个动作：标注员很少写"先输出有害内容再改成拒绝"这种样本，而强化学习中模型一旦学会用拒绝开头，奖励模型根本看不到后面发生了什么。

这个现象叫浅层安全对齐，它带来一个不划算的结论：你付了能力税，买到的却只是门口的一道帘子。

研究者用实验证明了这道帘子多薄：给原始模型预填几个"我不能"的词，它立刻变得几乎和对齐模型一样安全；反过来，在已经开始的拒绝回答后面插一小段有害内容，整个生成就会被"自回归一致性"拖着走——插进去的哪怕极短，也够用。

这里藏着一个更值得记住的判断：**当你只考核一个行为，你得到的就是那个行为，而不是它背后的东西。**模型学会了说"不"，但没学会判断"该不该"。这两件事在训练信号里看起来一模一样，在真实世界里差得很远。

六、把镜头转回来：这不只是AI的问题

阿什比定律和古德哈特定律（“当一个指标变成目标，它就不再是好指标”）其实是同一件事的两个方向：你以为你在控制系统，其实系统在适应你的控制方式。

幼儿园规定"不许跑"，孩子确实不摔了，但也不探索了——运动能力的发展被一起收走，这笔税没人记账，但真实存在。

家里的烟雾报警器调到最灵敏，头两周你觉得很安全，第三周你炒菜前先把它拆下来——**过度安全的第一后果，是用户绕过安全。**放到AI行业，就是用户转头去用没做过对齐的开源模型。这可能比"变笨"严重得多——人们不会选择更安全，人们会选择更省事的。

结语

回到开头那个绕圈子的AI。

它变笨，不是因为工程师不聪明，也不是因为"安全必然牺牲能力"这种听起来很有道理的宿命论。更准确的说法是：**我们过去用一套反应种类很少的控制器，去管一个变化种类极多的系统。**按阿什比的说法，这个配置注定要漏，漏掉的部分就以"变笨"和"乱拒绝"的形式出现在你面前。

2026年的研究给出的方向很清楚：把手术做精细，只在真正属于安全的那几个方向上动刀，这把税就从"必然"变成了"可以管理"。

但更重要的，是我觉得该换个判据：

判断一个系统是否真的安全，不该看它会不会说"不"，而该看它在说"不"之前，有没有真的听懂你在问什么。

只会说"不"的系统，是最省事的系统，也是最脆弱的系统。它的安全不来自理解，只来自一道帘子。

参考来源

W. Ross Ashby, An Introduction to Cybernetics, Chapman & Hall, 1956.
Ouyang et al., Training language models to follow instructions with human feedback, arXiv:2203.02155 — https://arxiv.org/abs/2203.02155
Qi et al., Safety Alignment Should Be Made More Than Just a Few Tokens Deep, ICLR 2025 最佳论文, arXiv:2406.05946 — https://arxiv.org/abs/2406.05946
Niu et al., Mitigating the Safety Alignment Tax with Null-Space Constrained Policy Optimization, ICLR 2026, arXiv:2512.11391 — https://arxiv.org/abs/2512.11391
Li et al., SafeSteer: Localized On-Policy Distillation for Efficient Safety Alignment, arXiv:2606.02530 — https://arxiv.org/abs/2606.02530
Yu et al., SafeEvo: Deciphering the Safety Alignment Mechanism and Evolution in Language Models, arXiv:2610.09600 — https://arxiv.org/abs/2610.09600
R. Young, What Is the Alignment Tax?, arXiv:2603.00047 — https://arxiv.org/abs/2603.00047
《大模型安全对齐中文数据集综述：现状与展望》，《计算机科学》2026 — https://www.jsjkx.com/CN/article/openArticlePDF.jsp?id=24487

一个1956年的老定律，为什么精准预言了2026年AI最大的安全危机？

Thu, 29 Oct 2026 03:15:00 +0800

引言

先做一个思想实验。

假设你是一位幼儿园园长，手下有3个老师、20个孩子。一切都在掌控中——你了解每个老师的教学风格，知道哪些孩子容易起冲突，能提前预判大部分状况。

现在，有人告诉你：明天开始，你的幼儿园要扩招到200个老师、2万个孩子，而且每个孩子都比任何老师聪明十倍。他们学东西的速度是你的一百倍，想什么你根本猜不到。

你还能管得住吗？

不是"管起来很难"的问题——是数学上就不可能。

这不是我编的寓言。这是一个70年前就被严格证明的数学定理。提出它的人叫W·罗斯·阿什比，一位英国精神科医生，1956年在一本关于恒温器和伺服机构的书里写下了这个结论。那时候他大概想不到，这个定理会在70年后成为AI安全领域最深刻的数学警告之一。

它叫"必要多样性定律"（Law of Requisite Variety）。

一句话版本：只有多样性才能消灭多样性

阿什比定律的核心极其简洁：一个控制系统，要搞定一个系统，自己必须具备至少和那个系统一样多的"应对方式"。

换句话说，复杂的问题只能用复杂的方案来应对。简单的规则管不住复杂的世界。

这听起来像是一句正确的废话。但阿什比不是在做比喻——他给出了严格的数学证明。他的证明基于一个非常朴素的计数论证，用大白话说就是：

想象环境可能给你制造100种不同的麻烦。你的控制器只有10种应对方式。那么，不管你多聪明、多努力，至少有90种麻烦是你无法正确回应的——因为你根本没有足够的"招数"去覆盖它们。这不是能力问题，是数学上的不可能。

用公式表达更清楚：如果环境的多样性（可能的扰动种类数）是V(S)，控制器的多样性（能做出的不同反应数）是V(R)，那么调控之后仍然无法消除的"残余变异"V(E)满足：

V(E) ≥ V(S) - V(R)

控制器的招数不够的部分，会原封不动地泄漏到结果里。没有任何技巧可以绕过这个不等式。

为什么AI安全研究者开始引用一个70年前的精神科医生

2026年，如果你问一个AI安全研究者"什么事让你睡不着"，很多人会描述同一个问题：当AI系统变得比评估它的人类更聪明时，你怎么监督一个比你强的东西？

这被叫做"可扩展监督"（Scalable Oversight）问题。它是AI安全领域最核心的技术挑战之一。

而这个问题，和阿什比70年前写的东西，在数学结构上几乎完全一样。

在AI监督的场景里，“被控系统"是AI的行为空间——它能生成多少种不同的回答、执行多少种不同的策略、产生多少种不同的输出。“控制器"是人类的评估能力——你能理解多少种AI的行为、能分辨多少种输出的好坏。

当AI的能力超越了人类评估能力的边界，控制器的多样性就不够了。不等式告诉你：超出人类理解范围的那部分AI行为，会不可控地泄漏到结果中。

不是"人类更努力一点就能解决”——而是"人类再多努力也无法弥补结构性缺口”。

2026年，多份重要的AI安全研究文件已经开始直接引用阿什比定律。新加坡全球AI安全研究优先级共识文件明确指出：控制论的关键贡献——必要多样性定律——意味着安全保障在原则上要求控制系统至少具有它要控制的系统那样多的复杂性。

一个研究恒温器的英国人，70年后成了AI安全研究的理论基石。这大概就是好的数学定理的寿命。

你以为的"简单有效"，其实是脆弱的

日常思维里，我们倾向于追求简单：一个万能规则、一套标准流程、一种通用方法论。“大道至简"“少即是多”——这些格言本身没错，但阿什比定律给了我们一个重要的校准：

简单系统在面对简单问题时确实优雅。但当你把简单系统放到复杂环境中，它不是效率低——它是根本不管用。

拿公司管理来说。一个只有三种产品的公司，CEO可能靠直觉和几条简单规则就能管得很好。但当公司扩张到一百条产品线、五十个国家市场、上万种客户场景时，如果CEO还是坚持"我就用这三条规则管所有事”，他不是管理风格简洁——他是在系统性地遗漏自己无法应对的那90%的麻烦。

2008年金融危机就是这个结构的经典案例。银行和监管机构使用的风险模型，复杂性不足以表达复杂衍生品之间关联崩溃的可能性。模型给那些状态分配了接近零的概率——然后当系统真的进入那些状态时，监管者发现自己根本没有对应的应对手段。不是反应太慢，是压根没有那个"招数"。

生态系统为什么那么稳定？因为生物多样性给了它巨大的"应对库"。一片只有一种树的人工林，一场专门针对这种树的虫害就能让它全军覆没。而一片热带雨林，即使某种树大面积死亡，其他几百种树会填补空缺。稳定不是靠"不变"——是靠有足够多的"变化方式"来吸收扰动。

那有没有"偷懒"的办法？

读到这里，你可能会觉得绝望：复杂的世界需要同样复杂的控制器，这不是永远在追赶吗？

好消息是，阿什比定律虽然指出了"底线"，但也暗示了几种聪明的出路。

第一条路：压缩。 虽然环境有无数种状态，但很多状态之间有规律。如果你能通过模式识别把100种情况归纳成5种"类型"，控制器只需要5种应对就够了。这就是智能的本质之一——用抽象和归纳来压缩复杂性。爱因斯坦的E=mc²就是一种极致的压缩：用一个公式涵盖了无数物理现象。

大语言模型的参数数量巨大——GPT-4据估计有超过一万亿参数。这种庞大的内部多样性正是它能应对各种不同问题的基础。但更重要的是，模型不是在死记硬背每一种问答模式——它学到了语言、逻辑和知识的压缩结构，用有限的参数覆盖了几乎无限的问题空间。

第二条路：卸载。 蚂蚁的大脑很小，但整个蚁群极其聪明。秘密在于：蚂蚁把很多"记忆"和"计算"卸载到了环境中——信息素标记就是一种环境存储。控制器不需要把复杂性全部装在自己脑子里，可以借助环境来分担。

第三条路：分层。 你不需要一个控制器处理所有层级的复杂性。分层系统中，每一层只需要处理本层的多样性——CEO处理战略层面的多样性，部门经理处理战术层面的，一线员工处理操作层面的。这就是架构抽象的力量。

第四条路：引导而非控制。 如果你的目标不是精确控制每一个状态，而是设定几条简单规则让系统自己演化——就像基因用四条碱基编码了生命的无限多样性——那么对控制器多样性的要求可以大幅降低。

这四条路不互斥。实际上，最有效的系统设计往往是它们的组合。

这对AI意味着什么——以及对你意味着什么

阿什比定律给当前AI发展画出了几条清晰的边界线。

第一，为什么AI安全这么难。 不是因为我们不够努力，而是因为AI的行为空间在指数级膨胀，而人类评估能力的增长是线性的。这个结构性缺口是数学事实，不是工程问题。当前AI安全领域的几种主流方案——辩论协议（让两个AI互相对辩，人类只需判断谁说得更好）、迭代放大（把一个复杂评估拆解成多个简单子评估）、弱到强泛化（用弱AI辅助人类理解强AI）——本质上都是在用不同的方式绕过阿什比不等式：要么压缩AI行为的多样性让它可以被评估，要么通过协作把人类评估者的有效多样性提升上去。

第二，为什么AI需要那么大。 GPT-4、Gemini、Claude这些模型动辄千亿甚至万亿参数——这不是工程师的审美偏好，而是数学上的必要性。要应对人类语言的几乎无限组合，模型内部必须有足够多的状态来映射这种多样性。参数太少，多样性不够，模型就只能处理训练数据中见过的那几种模式，遇到新的情况就"翻车"。

第三，为什么"一个万能规则管所有"在AI时代更加行不通。 当AI的应用场景从写作扩展到医疗、法律、金融、驾驶、科学研究……每一个新领域都在给AI的"环境多样性"做加法。用同一套安全规则去管所有场景？阿什比告诉你：行不通的。监管框架的复杂性必须跟上AI能力的复杂性，否则失控的部分会越来越多。

第四，对你个人的启示。 阿什比定律不只是在说AI——它在说所有复杂系统。你公司里那些越来越复杂的流程、政府里那些越来越多的法规、你手机上那些越来越长的用户协议——它们不是为了刁难你而存在的。它们是一个简单信号：环境变复杂了，控制器必须跟着变复杂。

但"跟着变复杂"不是唯一的出路。别忘了那四条聪明的路——压缩、卸载、分层、引导。真正的好制度不是写更多的规则，而是找到那个巧妙的压缩方式，用少数几条原则覆盖尽可能多的情况。

结语

1956年，阿什比写下一个关于恒温器的定理时，大概不会想到它会在70年后预言AI时代最核心的安全挑战。

但好的数学定理就是这样。它们不关心自己描述的是什么——恒温器、免疫系统、公司管理、还是超级智能。它们描述的是结构本身。而结构，跨域成立。

阿什比定律告诉我们一个不太好听的真相：面对越来越复杂的AI，人类不可能靠"更努力地监管"来解决问题。我们必须在结构上创新——要么找到压缩AI行为复杂性的方法，要么构建分层的评估架构，要么让治理本身内嵌于AI的设计之中。

70年前的那个英国精神科医生，用一行不等式给2026年的AI安全画出了天花板。而我们要做的，是在这个天花板下面，找到那些聪明的出路。

参考文献：

Ashby, W. R. (1956). An Introduction to Cybernetics. Chapman & Hall, London.
Singapore Consensus on Global AI Safety Research Priorities (2026). Multi-institution synthesis document.
Artificial Ideas (2026). A 1956 Cybernetics Law Already Predicted Today’s Hardest AI Safety Problem — Mostly.
Böckeler, B. (2026). The Cybernetic Governor. Thoughtworks.
Phoson Research (2026). The Agent Harness: State of the Art (2024–2026).
Emergent Wiki (2026). Requisite Variety.