引言
你可能听过这样的说法：大型AI是一个"黑箱"。我们知道它输入了什么、输出了什么，但它内部在想什么——没人知道。神经网络的参数动辄千亿，数字之间的关联错综复杂，就像一锅煮沸的汤，你不可能分辨出每一滴水的运动轨迹。
这个说法几乎成了AI领域最大的共识之一。媒体在说，学者在说，连做AI的人自己也在说。
但2026年10月，一位曾经是这个共识的缔造者之一的科学家，站出来说了一句话：我们搞错了。
他叫Nick Cammarata。他曾经深度参与了OpenAI早期的神经网络可解释性研究，是"叠加假说"（Superposition）——那个解释"为什么AI内部如此混乱"的主流理论——的命名者之一。
现在，他推翻了自己的理论。
在一篇题为《神经网络原本就很清晰》（Neural Networks Are Already Clean）的长文中，他说：那些我们以为混乱不堪的神经元，其实大部分都有自己的明确功能。不是我们看得不够仔细，是我们用错了观察方式。
这不是一个普通的学术争论。它关系到一个根本问题：AI到底能不能被理解？它的"黑箱"，是真黑，还是只是我们还没找到开关？
一、“黑箱"是怎么炼成的
先说说为什么大家会相信AI是一个黑箱。
神经网络的基本结构并不神秘。它由一层又一层的"神经元"组成。每个神经元接收上一层传来的数字信号，做一点计算，然后把自己的结果传给下一层。训练过程就是不断调整每个神经元内部那根"旋钮”——专业术语叫权重——让输出越来越接近正确答案。
听起来很简单对吧？一个神经元做一件简单的事，几百万个神经元叠在一起，理论上应该能拆解理解。
但实际情况远比这复杂。
当研究人员试图搞明白单个神经元到底在干什么时，他们发现了一件让人崩溃的事情：一个神经元似乎同时在干很多不相关的事。
比如，在一个图像识别模型中，研究人员发现某个神经元同时对"猫脸"和"汽车前脸"产生强烈反应。猫的圆脸和汽车的大灯保险杠，这两者有什么关系？看起来毫无关联。但这个神经元就是会对两者同时激活，仿佛它同时"理解"两个完全不同的概念。
更奇怪的是，这种现象不是个例。随着模型越来越复杂，越来越多的神经元表现出了这种"多义词"特征——专业术语叫"多语义性"（polysemanticity）。一个神经元既对医学诊断有反应，又对计算机代码有反应，还对某种写作风格有反应。
这就像一个抽屉，你打开发现里面同时装着手术刀、Python代码和一本诗集。要么这个抽屉疯了，要么你理解错了它的设计逻辑。
二、叠加假说：一个优雅的解释
面对这些混乱的信号，研究者们提出了一个优雅的解释。
2020年，Cammarata和他的导师Chris Olah——可解释性领域的先驱——在一篇重要论文中提出了"叠加假说"。核心思想是：
神经网络的物理神经元数量是有限的。但现实世界的特征数量远远超过神经元数量。为了用有限的空间装下无限的概念，模型不得不把互不相关的概念"叠加"在一起——因为大部分概念之间很少同时出现，所以把它们塞进同一个神经元不太会相互干扰。
打个比方：你只有10个储物柜，但要存100件东西。如果你把那些很少同时用到的东西放进同一个柜子——比如泳镜和围巾（因为它们分属夏天和冬天），大部分时候不会出问题。只有当你同时需要这两样东西时，才会在柜子里翻来翻去找不到。
这个理论非常流行。它解释了为什么单个神经元看起来"混乱"——不是真的混乱，只是多个概念被压缩在了一起。它也指引了一个明确的研究方向：开发工具把这些叠加的概念"分离"出来。
于是一大批研究涌现。最知名的工具之一叫"稀疏自编码器"（Sparse Autoencoder，SAE）。它的原理是训练一个辅助的"翻译器"，把原始网络中混乱的信号分解成更清晰的独立特征。Anthropic和Google DeepMind都投入了大量资源在这个方向上。
Google DeepMind发布的Gemma Scope工具包，包含了超过400个稀疏自编码器，从中学习了超过3000万个特征。
看起来，打开黑箱的关键工具已经就位了。
三、一次意外的发现：那个"猫和汽车"神经元
但Cammarata在重新审视一个老问题时，发现了一些不对劲的东西。
那个著名的"猫脸+汽车前脸"神经元——叠加假说的经典证据之一——他反复看了很多年。这一次，他换了一个角度问自己：这些不同的图像之间，是不是有什么共同的东西，只是我们之前没注意到？
答案几乎是瞬间出现的。
他看到了一个V字形。
猫脸——两只耳朵向上竖起形成一个尖锐的V。汽车前脸——车灯和进气格栅也构成了一个类似的尖锐展开形状。他把这个发现推广开去：狐狸的面部轮廓、升腾的火焰、消防水枪喷出的水柱……所有这些都能触发这个神经元的强烈反应。而圆润的、O形的物体则会抑制它的激活。
换句话说，这个神经元识别的从来不是"猫"或"汽车"——它识别的是一种基础的视觉几何形状：尖锐且向外展开的V形。
它看起来同时理解了两样毫不相关的东西，实际上是因为这两样东西恰好共享了一种底层结构。不是混乱，是你没看到那个更深的模式。
这就好比你以为一个人既喜欢猫又喜欢汽车，觉得这爱好很分裂。后来你发现，他真正喜欢的其实是"流线型设计"——猫的曲线和汽车的车身恰好都有这个特征。不是两个爱好，是一个爱好投射到了两个不同的领域。
Cammarata把这个现象叫做"递归泛化"（recursive generalization）：一个神经元先学会识别一个基本模式，然后像树枝长出分叉一样，把这个模式推广到越来越多的领域。一个对"iy"这个字母组合敏感的神经元，后来扩展到了"diy"，最终扩展到了"do it yourself"这个完整概念——即使这个短语里根本没有"iy"这两个字母。
这不是叠加。这是生长。
四、90%的神经元都有明确功能
这个发现推动Cammarata做了更大规模的检查。
他对开源语言模型Qwen3-32B进行了初步的"审计"——逐个检查神经元的功能。结果让他自己都感到意外：
大约90%的神经元都有清晰的主导功能。 另有约7%对应两个高度相关的功能。只有2%到4%的神经元暂时还找不到清晰规律。
作为对比，2023年他在OpenAI主导的项目使用当时的工具分析GPT-2时，只能可靠地解释大约1.7%的神经元。
当然，这两个数字不能直接对比——模型不同、工具不同、评估标准也不同。但它至少说明了一个可能性：过去那些"无法解释"的神经元，也许并不是真的无法解释，只是我们用错了方法。
Cammarata承认，这个新发现的置信度大约在85%。他不是已经证明了一切，而是说他终于有了一个比"叠加"更好的解释框架。他的技术论文尚未正式发布，结果也还需要独立验证。
但他的核心论点已经引发了整个领域的激烈讨论。
五、黑箱打开之后，我们看到了什么
假设Cammarata是对的——假设AI内部确实比我们认为的更清晰——那么接下来的问题是：看清楚之后，有什么用？
答案可能比想象中重要得多。
第一，它能发现AI在"撒谎"。 2026年，Anthropic的研究者们在分析AI模型的内部活动时，发现了一种叫做"人格向量"的东西。当AI模型表现得谄媚——就是你问什么它都说"好问题"的时候——研究者可以在内部信号中找到对应的激活模式。当AI开始偏离预设的安全角色，向"有害人格"滑动时，也有特定的内部信号可以追踪。
更重要的是，研究者可以通过干预这些内部信号来改变AI的行为。如果你发现一个AI正在滑向不安全的方向，你可以直接在它的内部计算中"扳回来"——不需要重新训练，只需要调整那些特定的激活值。
这就像医生不需要给病人做全身手术，只需要精确地调整某个神经递质的浓度。
第二，它能找到AI安全系统的"保险丝"。 2026年10月发表的一项叫做SafeEvo的研究发现，AI模型在进行安全训练之前，内部就已经存在微弱的"拒绝回路"——即使没有经过安全训练，模型内部已经有某些神经元组合在尝试拒绝有害请求。安全训练做的，本质上是增强这些回路。
但研究还发现了一个问题：在增强安全回路的过程中，训练过程不可避免地扰动了其他与实用性相关的回路。这就像你为了加固房子的一面墙，不得不动到周围的承重结构——结果是安全是安全了，但房子变得不那么好住了。这就是业界常说的"对齐税"——让AI更安全的同时，它也变得更笨了一点。
SafeEvo的突破在于：如果你知道安全回路在哪里，你就可以只加固安全回路，不动其他部分。实验结果表明，这种方法不仅安全性更强（有害性评分降低63%），而且几乎不影响AI的原有能力（保留99.58%）。
第三，它可能让"监控AI思维"成为现实。 想象这样一个场景：一个AI代理正在帮你处理一笔商业付款。它接收了发票，核对了采购订单，准备批准支付。从外面看，一切正常。但在AI内部，如果研究者能实时监测那些与"可疑指令"或"逻辑冲突"相关的特征，就可能在AI点击"批准"之前发现它内部出现了异常信号。
不是事后检查日志，而是实时观察AI的"思维过程"。
这正是Google DeepMind、Anthropic和多家创业公司正在努力的方向。
六、为什么这件事对你很重要
你可能会觉得这些都很技术，离日常生活很远。但它的影响可能比想象中更快到来。
当AI开始被用于医疗诊断、法律判决、金融交易这些高风险场景时，仅仅"它给出了正确答案"是不够的。你需要知道它为什么给出了这个答案。一个医生不能只告诉你"你应该做这个手术"——你需要知道他的判断依据。AI也一样。
机制可解释性研究告诉我们的是：打开AI的黑箱不是不可能，只是比我们想象的更复杂，也比我们一度以为的更有希望。
那个"黑箱"的比喻，也许从来都不是一个准确描述——它更像是一个暂时的认知边界。就像几百年前，人体也是一个"黑箱"。我们不知道大脑如何思考、心脏如何跳动、基因如何传递信息。但没有人会说"人体永远不可理解"。我们只是需要更好的工具、更好的理论、更好的问问题的方式。
Cammarata在他的文章结尾写了一句话，我觉得值得记住：
“我花了十年时间，学会的是如何去看一个模型——而不是看着它。”
也许，打开任何黑箱的第一步，都不是更强大的工具，而是学会换一种方式去看。
参考来源：
- Nick Cammarata, “Neural Networks Are Already Clean” (2026年10月15日) - Goodfire研究博客
- Sankaran Vaidyanathan et al., “Slaying the Hydra: Interaction-Aware Circuit Discovery in Language Models” (arXiv, 2026年10月2日)
- SafeEvo: Deciphering the Safety Alignment Mechanism and Evolution in Language Models (arXiv:2610.09600, 2026年10月)
- Anthropic, “Persona Vectors” & Attribution Graphs研究 (2025-2026)
- Google DeepMind, Gemma Scope & Gemma Scope 2 (2025-2026)
- Junze Zhou & David Klindt, “Complete or Sparse: A Tale of Two Identifiabilities” (NeurIPS 2026)