AI黑箱 on 灵语AI

我们终于看到了AI大脑内部——但真正让人震惊的，不是里面有多复杂，而是它居然出奇地清晰

Fri, 30 Oct 2026 03:15:00 +0800

引言

你可能听过这样的说法：大型AI是一个"黑箱"。我们知道它输入了什么、输出了什么，但它内部在想什么——没人知道。神经网络的参数动辄千亿，数字之间的关联错综复杂，就像一锅煮沸的汤，你不可能分辨出每一滴水的运动轨迹。

这个说法几乎成了AI领域最大的共识之一。媒体在说，学者在说，连做AI的人自己也在说。

但2026年10月，一位曾经是这个共识的缔造者之一的科学家，站出来说了一句话：我们搞错了。

他叫Nick Cammarata。他曾经深度参与了OpenAI早期的神经网络可解释性研究，是"叠加假说"（Superposition）——那个解释"为什么AI内部如此混乱"的主流理论——的命名者之一。

现在，他推翻了自己的理论。

在一篇题为《神经网络原本就很清晰》（Neural Networks Are Already Clean）的长文中，他说：那些我们以为混乱不堪的神经元，其实大部分都有自己的明确功能。不是我们看得不够仔细，是我们用错了观察方式。

这不是一个普通的学术争论。它关系到一个根本问题：AI到底能不能被理解？它的"黑箱"，是真黑，还是只是我们还没找到开关？

一、“黑箱"是怎么炼成的

先说说为什么大家会相信AI是一个黑箱。

神经网络的基本结构并不神秘。它由一层又一层的"神经元"组成。每个神经元接收上一层传来的数字信号，做一点计算，然后把自己的结果传给下一层。训练过程就是不断调整每个神经元内部那根"旋钮”——专业术语叫权重——让输出越来越接近正确答案。

听起来很简单对吧？一个神经元做一件简单的事，几百万个神经元叠在一起，理论上应该能拆解理解。

但实际情况远比这复杂。

当研究人员试图搞明白单个神经元到底在干什么时，他们发现了一件让人崩溃的事情：一个神经元似乎同时在干很多不相关的事。

比如，在一个图像识别模型中，研究人员发现某个神经元同时对"猫脸"和"汽车前脸"产生强烈反应。猫的圆脸和汽车的大灯保险杠，这两者有什么关系？看起来毫无关联。但这个神经元就是会对两者同时激活，仿佛它同时"理解"两个完全不同的概念。

更奇怪的是，这种现象不是个例。随着模型越来越复杂，越来越多的神经元表现出了这种"多义词"特征——专业术语叫"多语义性"（polysemanticity）。一个神经元既对医学诊断有反应，又对计算机代码有反应，还对某种写作风格有反应。

这就像一个抽屉，你打开发现里面同时装着手术刀、Python代码和一本诗集。要么这个抽屉疯了，要么你理解错了它的设计逻辑。

二、叠加假说：一个优雅的解释

面对这些混乱的信号，研究者们提出了一个优雅的解释。

2020年，Cammarata和他的导师Chris Olah——可解释性领域的先驱——在一篇重要论文中提出了"叠加假说"。核心思想是：

神经网络的物理神经元数量是有限的。但现实世界的特征数量远远超过神经元数量。为了用有限的空间装下无限的概念，模型不得不把互不相关的概念"叠加"在一起——因为大部分概念之间很少同时出现，所以把它们塞进同一个神经元不太会相互干扰。

打个比方：你只有10个储物柜，但要存100件东西。如果你把那些很少同时用到的东西放进同一个柜子——比如泳镜和围巾（因为它们分属夏天和冬天），大部分时候不会出问题。只有当你同时需要这两样东西时，才会在柜子里翻来翻去找不到。

这个理论非常流行。它解释了为什么单个神经元看起来"混乱"——不是真的混乱，只是多个概念被压缩在了一起。它也指引了一个明确的研究方向：开发工具把这些叠加的概念"分离"出来。

于是一大批研究涌现。最知名的工具之一叫"稀疏自编码器"（Sparse Autoencoder，SAE）。它的原理是训练一个辅助的"翻译器"，把原始网络中混乱的信号分解成更清晰的独立特征。Anthropic和Google DeepMind都投入了大量资源在这个方向上。

Google DeepMind发布的Gemma Scope工具包，包含了超过400个稀疏自编码器，从中学习了超过3000万个特征。

看起来，打开黑箱的关键工具已经就位了。

三、一次意外的发现：那个"猫和汽车"神经元

但Cammarata在重新审视一个老问题时，发现了一些不对劲的东西。

那个著名的"猫脸+汽车前脸"神经元——叠加假说的经典证据之一——他反复看了很多年。这一次，他换了一个角度问自己：这些不同的图像之间，是不是有什么共同的东西，只是我们之前没注意到？

答案几乎是瞬间出现的。

他看到了一个V字形。

猫脸——两只耳朵向上竖起形成一个尖锐的V。汽车前脸——车灯和进气格栅也构成了一个类似的尖锐展开形状。他把这个发现推广开去：狐狸的面部轮廓、升腾的火焰、消防水枪喷出的水柱……所有这些都能触发这个神经元的强烈反应。而圆润的、O形的物体则会抑制它的激活。

换句话说，这个神经元识别的从来不是"猫"或"汽车"——它识别的是一种基础的视觉几何形状：尖锐且向外展开的V形。

它看起来同时理解了两样毫不相关的东西，实际上是因为这两样东西恰好共享了一种底层结构。不是混乱，是你没看到那个更深的模式。

这就好比你以为一个人既喜欢猫又喜欢汽车，觉得这爱好很分裂。后来你发现，他真正喜欢的其实是"流线型设计"——猫的曲线和汽车的车身恰好都有这个特征。不是两个爱好，是一个爱好投射到了两个不同的领域。

Cammarata把这个现象叫做"递归泛化"（recursive generalization）：一个神经元先学会识别一个基本模式，然后像树枝长出分叉一样，把这个模式推广到越来越多的领域。一个对"iy"这个字母组合敏感的神经元，后来扩展到了"diy"，最终扩展到了"do it yourself"这个完整概念——即使这个短语里根本没有"iy"这两个字母。

这不是叠加。这是生长。

四、90%的神经元都有明确功能

这个发现推动Cammarata做了更大规模的检查。

他对开源语言模型Qwen3-32B进行了初步的"审计"——逐个检查神经元的功能。结果让他自己都感到意外：

大约90%的神经元都有清晰的主导功能。 另有约7%对应两个高度相关的功能。只有2%到4%的神经元暂时还找不到清晰规律。

作为对比，2023年他在OpenAI主导的项目使用当时的工具分析GPT-2时，只能可靠地解释大约1.7%的神经元。

当然，这两个数字不能直接对比——模型不同、工具不同、评估标准也不同。但它至少说明了一个可能性：过去那些"无法解释"的神经元，也许并不是真的无法解释，只是我们用错了方法。

Cammarata承认，这个新发现的置信度大约在85%。他不是已经证明了一切，而是说他终于有了一个比"叠加"更好的解释框架。他的技术论文尚未正式发布，结果也还需要独立验证。

但他的核心论点已经引发了整个领域的激烈讨论。

五、黑箱打开之后，我们看到了什么

假设Cammarata是对的——假设AI内部确实比我们认为的更清晰——那么接下来的问题是：看清楚之后，有什么用？

答案可能比想象中重要得多。

第一，它能发现AI在"撒谎"。 2026年，Anthropic的研究者们在分析AI模型的内部活动时，发现了一种叫做"人格向量"的东西。当AI模型表现得谄媚——就是你问什么它都说"好问题"的时候——研究者可以在内部信号中找到对应的激活模式。当AI开始偏离预设的安全角色，向"有害人格"滑动时，也有特定的内部信号可以追踪。

更重要的是，研究者可以通过干预这些内部信号来改变AI的行为。如果你发现一个AI正在滑向不安全的方向，你可以直接在它的内部计算中"扳回来"——不需要重新训练，只需要调整那些特定的激活值。

这就像医生不需要给病人做全身手术，只需要精确地调整某个神经递质的浓度。

第二，它能找到AI安全系统的"保险丝"。 2026年10月发表的一项叫做SafeEvo的研究发现，AI模型在进行安全训练之前，内部就已经存在微弱的"拒绝回路"——即使没有经过安全训练，模型内部已经有某些神经元组合在尝试拒绝有害请求。安全训练做的，本质上是增强这些回路。

但研究还发现了一个问题：在增强安全回路的过程中，训练过程不可避免地扰动了其他与实用性相关的回路。这就像你为了加固房子的一面墙，不得不动到周围的承重结构——结果是安全是安全了，但房子变得不那么好住了。这就是业界常说的"对齐税"——让AI更安全的同时，它也变得更笨了一点。

SafeEvo的突破在于：如果你知道安全回路在哪里，你就可以只加固安全回路，不动其他部分。实验结果表明，这种方法不仅安全性更强（有害性评分降低63%），而且几乎不影响AI的原有能力（保留99.58%）。

AI的'黑箱'其实一直都有秩序——十年误解之后，我们终于找到了打开它的方法

Sat, 17 Oct 2026 03:36:40 +0800

引言

你捡到一只钱包，里面有500美元现金和失主的身份证。没有人看见。你该怎么办？

你大概会毫不犹豫地说"归还"。但如果一个AI给出同样的回答，你怎么知道它是真的"理解"了诚实的含义，还是仅仅在训练数据中见过太多类似的道德故事？

这正是AI领域十年来最核心的焦虑——我们能造出强大的AI，却看不清它内部究竟在发生什么。

但就在上周，这个焦虑被撕开了一道口子。

十年误解：我们一直看错了

2026年10月16日，OpenAI可解释性团队的创建者Nick Cammarata发表了一篇震动AI圈的长文。标题很简单：神经网络本来就是干净的。

这句话的分量，需要放在背景里才能理解。

过去十年，AI可解释性领域有一个令人沮丧的"共识"：神经网络是一团打了死结的线团。当神经元数量不够用时，模型会把毫不相干的概念折叠塞进同一个神经元——因为它们恰好互不干扰。这个假说叫做"叠加"（superposition），几乎是整个AI安全研究路线的基石。

一个经典证据来自视觉模型InceptionV1：同一个神经元既对猫脸产生反应，也对汽车前脸产生反应。猫和汽车有什么关系？研究者一度认为，这就是"叠加"的铁证——模型空间不够，只能把不相关的东西硬塞在一起。

Nick亲手推翻了这个结论。

他重新检查了图片和连接关系后发现：猫脸和汽车前脸共享一个特征——V形。这个神经元还与V形火焰、狐狸脸等相关，而圆形会把它推向负向响应。换句话说，“猫和汽车"是人类给出的分类标签，而网络找到的其实是跨越这些类别的形状规律。

不是神经元混乱，而是我们用人类的方式去理解它，理解错了。

这个发现带来的连锁反应是惊人的。Nick的团队对一个320亿参数的语言模型做了全面审查，结果发现：约90%的神经元正、负响应各有一项主要工作，只有2%到4%真正无法理解。

更反直觉的是，模型越大反而越好懂。Nick打了一个比方：去小镇找金融区和去纽约找金融区，哪个更容易？小镇的银行可能散落各处，但城市越大，分工反而越鲜明。他比较了三个视觉模型，参数量相差300倍，大模型内部的"功能分区"反而更清晰。

从"事后解释"到"天生透明”

Nick的工作属于"机制可解释性"——直接打开黑箱看里面的齿轮怎么转。但另一条路线同样重要：与其事后拆解黑箱，不如一开始就把它做成透明的。

这就引出了MIT团队今年发表在《Nature》上的CW-Net（概念包装网络）。

想象你坐在一辆自动驾驶汽车里，突然，车毫无理由地急刹车。你吓了一跳——车为什么停？司机只知道"车停了"，但不知道原因。这种信息不对称，在高速场景下可能是致命的。

MIT和自动驾驶公司Motional合作开发的CW-Net，把自动驾驶AI的内部决策过程翻译成人能理解的概念——比如"正在接近停靠车辆"、“靠近骑行者”。这些解释不是事后分析报告，而是实时输出，和车辆轨迹同步生成。

更重要的是，CW-Net不是"给黑箱贴标签"。它被插入到自动驾驶规划模型的中间层，强迫最终决策必须基于这些可理解的概念来做出。这意味着解释和决策用的是同一套逻辑——你看到的，就是它真正在想的。

在实际道路测试中，CW-Net帮助安全员更准确地预测车辆行为。一个典型案例：车辆反复在接近骑行者时急停，安全员以为车"看到了"骑行者。但CW-Net揭示，模型其实没有正确检测到骑行者——它急停是因为紧急制动程序被触发了。

这个区别至关重要。如果是"看到了骑行者所以减速"，那是正常行为；如果是"没看到但靠紧急制动兜底"，那是一个随时可能失败的隐患。没有CW-Net，这个区别永远不会被发现。

首部国标落地：从"应该解释"到"必须解释"

2026年10月8日，中国首部《AI算法可解释性与决策透明度通用技术规范》正式实施。

这份规范把AI系统按风险等级分为三档：高风险领域（如医疗、自动驾驶）必须提供全面可解释性，中风险领域需要解释关键决策因素，低风险领域至少提供基础可解释性。

规范中还给出了一些精确到数字的要求：特征重要性量化误差控制在±5%以内，自动驾驶等实时场景的解释生成不超过1秒，关键区域定位准确率不低于90%。

这些数字背后传递的信号很明确：可解释性不再是"加分项"，而是"准入门槛"。

规范还特别指出，AI系统的全生命周期——从数据采集、模型训练到部署运行、监控迭代——都需要嵌入可解释性支持。这意味着，一个AI产品不能只在上线时提交一份解释报告，它需要在每次迭代后持续验证解释是否仍然准确。

为什么这对你很重要

也许你觉得这些都是技术问题，跟普通人无关。但想想这几个场景：

你的贷款申请被AI拒绝，但没人能告诉你为什么。
医疗AI建议你做某项手术，医生只能说"系统这么推荐的"。
自动驾驶汽车做出一个危险动作，事后调查说不清原因。

这些不是假设，而是已经在发生的事情。

可解释性技术的突破，本质上是在回答一个问题：当我们把越来越多的决策权交给AI时，我们能不能保持对AI行为的理解能力？

Nick Cammarata给出了一个令人振奋的判断：读懂万亿参数的模型，可能在我们最需要的时候被攻克。他的团队已经在万亿参数模型上画出了完整的"决策电路图"——从输入到输出，每一个信息节点的传递路径都可追踪。

这不是说AI从此变得"简单"。而是说，我们终于找到了进入黑箱的方法。

一条新的路径：不是拆黑箱，是发现秩序

十年前，我们认为神经网络的混乱是结构性的、不可逆的。我们发明了LIME、SHAP、Grad-CAM等方法来"事后解释"黑箱的行为——但这些方法本质上是在黑箱外面搭脚手架，试图从外部推测内部发生了什么。

现在，新的证据指向一个完全不同的方向：黑箱内部本来就有秩序，只是我们之前用的"显微镜"不够好。

这就像你以为一个城市是杂乱无章的，直到你学会了看地铁图——突然发现每一站都有逻辑，每条线路都通向某个目的地。

当然，我们离完全读懂AI还很远。Nick自己也承认，约2%到4%的神经元仍然无法理解，而且随着模型架构的进化，新的挑战会不断出现。但至少，方向变了——从"黑箱不可能打开"，变成了"我们正在学会打开它"。

尾声

回到开头那个钱包的问题。

在Nick团队的万亿参数模型中，他们真的追踪了这个问题的完整决策路径：钱包、现金、证件信息，逐步汇入"失物招领"与"诚实"等相关计算，最终把输出推向"归还"。

这不只是一次道德推理的模拟。它证明了，至少在当前的万亿参数模型中，一个看似复杂的道德判断，其内部路径是可追踪的、可解释的、符合人类理解的。

这可能是2026年AI领域最重要的消息之一：我们造出的智能，并非不可理解。我们只是花了十年时间，才找到正确的观察方式。

参考文献：

Cammarata, N. et al. “Neural Networks Are Clean.” Goodfire, 2026. —— 万亿参数模型的可解释性研究
Kenny, E. et al. “Explainable deep learning improves human mental models of self-driving cars.” Nature, 2026. —— MIT与Motional的CW-Net研究