AI的'黑箱'其实一直都有秩序——十年误解之后，我们终于找到了打开它的方法

Sat, 17 Oct 2026 03:36:40 +0800

引言

你捡到一只钱包，里面有500美元现金和失主的身份证。没有人看见。你该怎么办？

你大概会毫不犹豫地说"归还"。但如果一个AI给出同样的回答，你怎么知道它是真的"理解"了诚实的含义，还是仅仅在训练数据中见过太多类似的道德故事？

这正是AI领域十年来最核心的焦虑——我们能造出强大的AI，却看不清它内部究竟在发生什么。

但就在上周，这个焦虑被撕开了一道口子。

十年误解：我们一直看错了

2026年10月16日，OpenAI可解释性团队的创建者Nick Cammarata发表了一篇震动AI圈的长文。标题很简单：神经网络本来就是干净的。

这句话的分量，需要放在背景里才能理解。

过去十年，AI可解释性领域有一个令人沮丧的"共识"：神经网络是一团打了死结的线团。当神经元数量不够用时，模型会把毫不相干的概念折叠塞进同一个神经元——因为它们恰好互不干扰。这个假说叫做"叠加"（superposition），几乎是整个AI安全研究路线的基石。

一个经典证据来自视觉模型InceptionV1：同一个神经元既对猫脸产生反应，也对汽车前脸产生反应。猫和汽车有什么关系？研究者一度认为，这就是"叠加"的铁证——模型空间不够，只能把不相关的东西硬塞在一起。

Nick亲手推翻了这个结论。

他重新检查了图片和连接关系后发现：猫脸和汽车前脸共享一个特征——V形。这个神经元还与V形火焰、狐狸脸等相关，而圆形会把它推向负向响应。换句话说，“猫和汽车"是人类给出的分类标签，而网络找到的其实是跨越这些类别的形状规律。

不是神经元混乱，而是我们用人类的方式去理解它，理解错了。

这个发现带来的连锁反应是惊人的。Nick的团队对一个320亿参数的语言模型做了全面审查，结果发现：约90%的神经元正、负响应各有一项主要工作，只有2%到4%真正无法理解。

更反直觉的是，模型越大反而越好懂。Nick打了一个比方：去小镇找金融区和去纽约找金融区，哪个更容易？小镇的银行可能散落各处，但城市越大，分工反而越鲜明。他比较了三个视觉模型，参数量相差300倍，大模型内部的"功能分区"反而更清晰。

从"事后解释"到"天生透明”

Nick的工作属于"机制可解释性"——直接打开黑箱看里面的齿轮怎么转。但另一条路线同样重要：与其事后拆解黑箱，不如一开始就把它做成透明的。

这就引出了MIT团队今年发表在《Nature》上的CW-Net（概念包装网络）。

想象你坐在一辆自动驾驶汽车里，突然，车毫无理由地急刹车。你吓了一跳——车为什么停？司机只知道"车停了"，但不知道原因。这种信息不对称，在高速场景下可能是致命的。

MIT和自动驾驶公司Motional合作开发的CW-Net，把自动驾驶AI的内部决策过程翻译成人能理解的概念——比如"正在接近停靠车辆"、“靠近骑行者”。这些解释不是事后分析报告，而是实时输出，和车辆轨迹同步生成。

更重要的是，CW-Net不是"给黑箱贴标签"。它被插入到自动驾驶规划模型的中间层，强迫最终决策必须基于这些可理解的概念来做出。这意味着解释和决策用的是同一套逻辑——你看到的，就是它真正在想的。

在实际道路测试中，CW-Net帮助安全员更准确地预测车辆行为。一个典型案例：车辆反复在接近骑行者时急停，安全员以为车"看到了"骑行者。但CW-Net揭示，模型其实没有正确检测到骑行者——它急停是因为紧急制动程序被触发了。

这个区别至关重要。如果是"看到了骑行者所以减速"，那是正常行为；如果是"没看到但靠紧急制动兜底"，那是一个随时可能失败的隐患。没有CW-Net，这个区别永远不会被发现。

首部国标落地：从"应该解释"到"必须解释"

2026年10月8日，中国首部《AI算法可解释性与决策透明度通用技术规范》正式实施。

这份规范把AI系统按风险等级分为三档：高风险领域（如医疗、自动驾驶）必须提供全面可解释性，中风险领域需要解释关键决策因素，低风险领域至少提供基础可解释性。

规范中还给出了一些精确到数字的要求：特征重要性量化误差控制在±5%以内，自动驾驶等实时场景的解释生成不超过1秒，关键区域定位准确率不低于90%。

这些数字背后传递的信号很明确：可解释性不再是"加分项"，而是"准入门槛"。

规范还特别指出，AI系统的全生命周期——从数据采集、模型训练到部署运行、监控迭代——都需要嵌入可解释性支持。这意味着，一个AI产品不能只在上线时提交一份解释报告，它需要在每次迭代后持续验证解释是否仍然准确。

为什么这对你很重要

也许你觉得这些都是技术问题，跟普通人无关。但想想这几个场景：

你的贷款申请被AI拒绝，但没人能告诉你为什么。
医疗AI建议你做某项手术，医生只能说"系统这么推荐的"。
自动驾驶汽车做出一个危险动作，事后调查说不清原因。

这些不是假设，而是已经在发生的事情。

可解释性技术的突破，本质上是在回答一个问题：当我们把越来越多的决策权交给AI时，我们能不能保持对AI行为的理解能力？

Nick Cammarata给出了一个令人振奋的判断：读懂万亿参数的模型，可能在我们最需要的时候被攻克。他的团队已经在万亿参数模型上画出了完整的"决策电路图"——从输入到输出，每一个信息节点的传递路径都可追踪。

这不是说AI从此变得"简单"。而是说，我们终于找到了进入黑箱的方法。

一条新的路径：不是拆黑箱，是发现秩序

十年前，我们认为神经网络的混乱是结构性的、不可逆的。我们发明了LIME、SHAP、Grad-CAM等方法来"事后解释"黑箱的行为——但这些方法本质上是在黑箱外面搭脚手架，试图从外部推测内部发生了什么。

现在，新的证据指向一个完全不同的方向：黑箱内部本来就有秩序，只是我们之前用的"显微镜"不够好。

这就像你以为一个城市是杂乱无章的，直到你学会了看地铁图——突然发现每一站都有逻辑，每条线路都通向某个目的地。

当然，我们离完全读懂AI还很远。Nick自己也承认，约2%到4%的神经元仍然无法理解，而且随着模型架构的进化，新的挑战会不断出现。但至少，方向变了——从"黑箱不可能打开"，变成了"我们正在学会打开它"。

尾声

回到开头那个钱包的问题。

在Nick团队的万亿参数模型中，他们真的追踪了这个问题的完整决策路径：钱包、现金、证件信息，逐步汇入"失物招领"与"诚实"等相关计算，最终把输出推向"归还"。

这不只是一次道德推理的模拟。它证明了，至少在当前的万亿参数模型中，一个看似复杂的道德判断，其内部路径是可追踪的、可解释的、符合人类理解的。

这可能是2026年AI领域最重要的消息之一：我们造出的智能，并非不可理解。我们只是花了十年时间，才找到正确的观察方式。

参考文献：

Cammarata, N. et al. “Neural Networks Are Clean.” Goodfire, 2026. —— 万亿参数模型的可解释性研究
Kenny, E. et al. “Explainable deep learning improves human mental models of self-driving cars.” Nature, 2026. —— MIT与Motional的CW-Net研究

Nick Cammarata on 灵语AI