<?xml version="1.0" encoding="utf-8" standalone="yes"?>
<rss version="2.0" xmlns:atom="http://www.w3.org/2005/Atom">
	<channel>
		<title>叠加假说 on 灵语AI</title>
		<link>https://lingyu7.com/tags/%E5%8F%A0%E5%8A%A0%E5%81%87%E8%AF%B4/</link>
		<description>Recent content in 叠加假说 on 灵语AI</description>
		<generator>Hugo</generator>
		<language>zh-CN</language>
		
		
		
		
			<lastBuildDate>Fri, 30 Oct 2026 03:15:00 +0800</lastBuildDate>
		
			<atom:link href="https://lingyu7.com/tags/%E5%8F%A0%E5%8A%A0%E5%81%87%E8%AF%B4/index.xml" rel="self" type="application/rss+xml" />
			<item>
				<title>我们终于看到了AI大脑内部——但真正让人震惊的，不是里面有多复杂，而是它居然出奇地清晰</title>
				<link>https://lingyu7.com/posts/mechanistic-interpretability-neural-networks-already-clean/</link>
				<pubDate>Fri, 30 Oct 2026 03:15:00 +0800</pubDate>
				<guid>https://lingyu7.com/posts/mechanistic-interpretability-neural-networks-already-clean/</guid>
				<description>&lt;h2 id=&#34;引言&#34;&gt;引言&lt;/h2&gt;&#xA;&lt;p&gt;你可能听过这样的说法：大型AI是一个&amp;quot;黑箱&amp;quot;。我们知道它输入了什么、输出了什么，但它内部在想什么——没人知道。神经网络的参数动辄千亿，数字之间的关联错综复杂，就像一锅煮沸的汤，你不可能分辨出每一滴水的运动轨迹。&lt;/p&gt;&#xA;&lt;p&gt;这个说法几乎成了AI领域最大的共识之一。媒体在说，学者在说，连做AI的人自己也在说。&lt;/p&gt;&#xA;&lt;p&gt;但2026年10月，一位曾经是这个共识的缔造者之一的科学家，站出来说了一句话：&lt;strong&gt;我们搞错了。&lt;/strong&gt;&lt;/p&gt;&#xA;&lt;p&gt;他叫Nick Cammarata。他曾经深度参与了OpenAI早期的神经网络可解释性研究，是&amp;quot;叠加假说&amp;quot;（Superposition）——那个解释&amp;quot;为什么AI内部如此混乱&amp;quot;的主流理论——的命名者之一。&lt;/p&gt;&#xA;&lt;p&gt;现在，他推翻了自己的理论。&lt;/p&gt;&#xA;&lt;p&gt;在一篇题为《神经网络原本就很清晰》（Neural Networks Are Already Clean）的长文中，他说：那些我们以为混乱不堪的神经元，其实大部分都有自己的明确功能。不是我们看得不够仔细，是我们用错了观察方式。&lt;/p&gt;&#xA;&lt;p&gt;这不是一个普通的学术争论。它关系到一个根本问题：&lt;strong&gt;AI到底能不能被理解？它的&amp;quot;黑箱&amp;quot;，是真黑，还是只是我们还没找到开关？&lt;/strong&gt;&lt;/p&gt;&#xA;&lt;h2 id=&#34;一黑箱是怎么炼成的&#34;&gt;一、&amp;ldquo;黑箱&amp;quot;是怎么炼成的&lt;/h2&gt;&#xA;&lt;p&gt;先说说为什么大家会相信AI是一个黑箱。&lt;/p&gt;&#xA;&lt;p&gt;神经网络的基本结构并不神秘。它由一层又一层的&amp;quot;神经元&amp;quot;组成。每个神经元接收上一层传来的数字信号，做一点计算，然后把自己的结果传给下一层。训练过程就是不断调整每个神经元内部那根&amp;quot;旋钮&amp;rdquo;——专业术语叫权重——让输出越来越接近正确答案。&lt;/p&gt;&#xA;&lt;p&gt;听起来很简单对吧？一个神经元做一件简单的事，几百万个神经元叠在一起，理论上应该能拆解理解。&lt;/p&gt;&#xA;&lt;p&gt;但实际情况远比这复杂。&lt;/p&gt;&#xA;&lt;p&gt;当研究人员试图搞明白单个神经元到底在干什么时，他们发现了一件让人崩溃的事情：&lt;strong&gt;一个神经元似乎同时在干很多不相关的事。&lt;/strong&gt;&lt;/p&gt;&#xA;&lt;p&gt;比如，在一个图像识别模型中，研究人员发现某个神经元同时对&amp;quot;猫脸&amp;quot;和&amp;quot;汽车前脸&amp;quot;产生强烈反应。猫的圆脸和汽车的大灯保险杠，这两者有什么关系？看起来毫无关联。但这个神经元就是会对两者同时激活，仿佛它同时&amp;quot;理解&amp;quot;两个完全不同的概念。&lt;/p&gt;&#xA;&lt;p&gt;更奇怪的是，这种现象不是个例。随着模型越来越复杂，越来越多的神经元表现出了这种&amp;quot;多义词&amp;quot;特征——专业术语叫&amp;quot;多语义性&amp;quot;（polysemanticity）。一个神经元既对医学诊断有反应，又对计算机代码有反应，还对某种写作风格有反应。&lt;/p&gt;&#xA;&lt;p&gt;这就像一个抽屉，你打开发现里面同时装着手术刀、Python代码和一本诗集。要么这个抽屉疯了，要么你理解错了它的设计逻辑。&lt;/p&gt;&#xA;&lt;h2 id=&#34;二叠加假说一个优雅的解释&#34;&gt;二、叠加假说：一个优雅的解释&lt;/h2&gt;&#xA;&lt;p&gt;面对这些混乱的信号，研究者们提出了一个优雅的解释。&lt;/p&gt;&#xA;&lt;p&gt;2020年，Cammarata和他的导师Chris Olah——可解释性领域的先驱——在一篇重要论文中提出了&amp;quot;叠加假说&amp;quot;。核心思想是：&lt;/p&gt;&#xA;&lt;p&gt;神经网络的物理神经元数量是有限的。但现实世界的特征数量远远超过神经元数量。为了用有限的空间装下无限的概念，模型不得不把互不相关的概念&amp;quot;叠加&amp;quot;在一起——因为大部分概念之间很少同时出现，所以把它们塞进同一个神经元不太会相互干扰。&lt;/p&gt;&#xA;&lt;p&gt;打个比方：你只有10个储物柜，但要存100件东西。如果你把那些很少同时用到的东西放进同一个柜子——比如泳镜和围巾（因为它们分属夏天和冬天），大部分时候不会出问题。只有当你同时需要这两样东西时，才会在柜子里翻来翻去找不到。&lt;/p&gt;&#xA;&lt;p&gt;这个理论非常流行。它解释了为什么单个神经元看起来&amp;quot;混乱&amp;quot;——不是真的混乱，只是多个概念被压缩在了一起。它也指引了一个明确的研究方向：开发工具把这些叠加的概念&amp;quot;分离&amp;quot;出来。&lt;/p&gt;&#xA;&lt;p&gt;于是一大批研究涌现。最知名的工具之一叫&amp;quot;稀疏自编码器&amp;quot;（Sparse Autoencoder，SAE）。它的原理是训练一个辅助的&amp;quot;翻译器&amp;quot;，把原始网络中混乱的信号分解成更清晰的独立特征。Anthropic和Google DeepMind都投入了大量资源在这个方向上。&lt;/p&gt;&#xA;&lt;p&gt;Google DeepMind发布的Gemma Scope工具包，包含了超过400个稀疏自编码器，从中学习了超过3000万个特征。&lt;/p&gt;&#xA;&lt;p&gt;看起来，打开黑箱的关键工具已经就位了。&lt;/p&gt;&#xA;&lt;h2 id=&#34;三一次意外的发现那个猫和汽车神经元&#34;&gt;三、一次意外的发现：那个&amp;quot;猫和汽车&amp;quot;神经元&lt;/h2&gt;&#xA;&lt;p&gt;但Cammarata在重新审视一个老问题时，发现了一些不对劲的东西。&lt;/p&gt;&#xA;&lt;p&gt;那个著名的&amp;quot;猫脸+汽车前脸&amp;quot;神经元——叠加假说的经典证据之一——他反复看了很多年。这一次，他换了一个角度问自己：&lt;strong&gt;这些不同的图像之间，是不是有什么共同的东西，只是我们之前没注意到？&lt;/strong&gt;&lt;/p&gt;&#xA;&lt;p&gt;答案几乎是瞬间出现的。&lt;/p&gt;&#xA;&lt;p&gt;他看到了一个&lt;strong&gt;V字形&lt;/strong&gt;。&lt;/p&gt;&#xA;&lt;p&gt;猫脸——两只耳朵向上竖起形成一个尖锐的V。汽车前脸——车灯和进气格栅也构成了一个类似的尖锐展开形状。他把这个发现推广开去：狐狸的面部轮廓、升腾的火焰、消防水枪喷出的水柱……所有这些都能触发这个神经元的强烈反应。而圆润的、O形的物体则会抑制它的激活。&lt;/p&gt;&#xA;&lt;p&gt;换句话说，&lt;strong&gt;这个神经元识别的从来不是&amp;quot;猫&amp;quot;或&amp;quot;汽车&amp;quot;——它识别的是一种基础的视觉几何形状：尖锐且向外展开的V形。&lt;/strong&gt;&lt;/p&gt;&#xA;&lt;p&gt;它看起来同时理解了两样毫不相关的东西，实际上是因为这两样东西恰好共享了一种底层结构。不是混乱，是你没看到那个更深的模式。&lt;/p&gt;&#xA;&lt;p&gt;这就好比你以为一个人既喜欢猫又喜欢汽车，觉得这爱好很分裂。后来你发现，他真正喜欢的其实是&amp;quot;流线型设计&amp;quot;——猫的曲线和汽车的车身恰好都有这个特征。不是两个爱好，是一个爱好投射到了两个不同的领域。&lt;/p&gt;&#xA;&lt;p&gt;Cammarata把这个现象叫做&amp;quot;递归泛化&amp;quot;（recursive generalization）：一个神经元先学会识别一个基本模式，然后像树枝长出分叉一样，把这个模式推广到越来越多的领域。一个对&amp;quot;iy&amp;quot;这个字母组合敏感的神经元，后来扩展到了&amp;quot;diy&amp;quot;，最终扩展到了&amp;quot;do it yourself&amp;quot;这个完整概念——即使这个短语里根本没有&amp;quot;iy&amp;quot;这两个字母。&lt;/p&gt;&#xA;&lt;p&gt;这不是叠加。这是&lt;strong&gt;生长&lt;/strong&gt;。&lt;/p&gt;&#xA;&lt;h2 id=&#34;四90的神经元都有明确功能&#34;&gt;四、90%的神经元都有明确功能&lt;/h2&gt;&#xA;&lt;p&gt;这个发现推动Cammarata做了更大规模的检查。&lt;/p&gt;&#xA;&lt;p&gt;他对开源语言模型Qwen3-32B进行了初步的&amp;quot;审计&amp;quot;——逐个检查神经元的功能。结果让他自己都感到意外：&lt;/p&gt;&#xA;&lt;p&gt;&lt;strong&gt;大约90%的神经元都有清晰的主导功能。&lt;/strong&gt; 另有约7%对应两个高度相关的功能。只有2%到4%的神经元暂时还找不到清晰规律。&lt;/p&gt;&#xA;&lt;p&gt;作为对比，2023年他在OpenAI主导的项目使用当时的工具分析GPT-2时，只能可靠地解释大约1.7%的神经元。&lt;/p&gt;&#xA;&lt;p&gt;当然，这两个数字不能直接对比——模型不同、工具不同、评估标准也不同。但它至少说明了一个可能性：过去那些&amp;quot;无法解释&amp;quot;的神经元，也许并不是真的无法解释，只是我们用错了方法。&lt;/p&gt;&#xA;&lt;p&gt;Cammarata承认，这个新发现的置信度大约在85%。他不是已经证明了一切，而是说他终于有了一个比&amp;quot;叠加&amp;quot;更好的解释框架。他的技术论文尚未正式发布，结果也还需要独立验证。&lt;/p&gt;&#xA;&lt;p&gt;但他的核心论点已经引发了整个领域的激烈讨论。&lt;/p&gt;&#xA;&lt;h2 id=&#34;五黑箱打开之后我们看到了什么&#34;&gt;五、黑箱打开之后，我们看到了什么&lt;/h2&gt;&#xA;&lt;p&gt;假设Cammarata是对的——假设AI内部确实比我们认为的更清晰——那么接下来的问题是：&lt;strong&gt;看清楚之后，有什么用？&lt;/strong&gt;&lt;/p&gt;&#xA;&lt;p&gt;答案可能比想象中重要得多。&lt;/p&gt;&#xA;&lt;p&gt;&lt;strong&gt;第一，它能发现AI在&amp;quot;撒谎&amp;quot;。&lt;/strong&gt; 2026年，Anthropic的研究者们在分析AI模型的内部活动时，发现了一种叫做&amp;quot;人格向量&amp;quot;的东西。当AI模型表现得谄媚——就是你问什么它都说&amp;quot;好问题&amp;quot;的时候——研究者可以在内部信号中找到对应的激活模式。当AI开始偏离预设的安全角色，向&amp;quot;有害人格&amp;quot;滑动时，也有特定的内部信号可以追踪。&lt;/p&gt;&#xA;&lt;p&gt;更重要的是，研究者可以通过干预这些内部信号来改变AI的行为。如果你发现一个AI正在滑向不安全的方向，你可以直接在它的内部计算中&amp;quot;扳回来&amp;quot;——不需要重新训练，只需要调整那些特定的激活值。&lt;/p&gt;&#xA;&lt;p&gt;这就像医生不需要给病人做全身手术，只需要精确地调整某个神经递质的浓度。&lt;/p&gt;&#xA;&lt;p&gt;&lt;strong&gt;第二，它能找到AI安全系统的&amp;quot;保险丝&amp;quot;。&lt;/strong&gt; 2026年10月发表的一项叫做SafeEvo的研究发现，AI模型在进行安全训练之前，内部就已经存在微弱的&amp;quot;拒绝回路&amp;quot;——即使没有经过安全训练，模型内部已经有某些神经元组合在尝试拒绝有害请求。安全训练做的，本质上是增强这些回路。&lt;/p&gt;&#xA;&lt;p&gt;但研究还发现了一个问题：在增强安全回路的过程中，训练过程不可避免地扰动了其他与实用性相关的回路。这就像你为了加固房子的一面墙，不得不动到周围的承重结构——结果是安全是安全了，但房子变得不那么好住了。这就是业界常说的&amp;quot;对齐税&amp;quot;——让AI更安全的同时，它也变得更笨了一点。&lt;/p&gt;&#xA;&lt;p&gt;SafeEvo的突破在于：如果你知道安全回路在哪里，你就可以只加固安全回路，不动其他部分。实验结果表明，这种方法不仅安全性更强（有害性评分降低63%），而且几乎不影响AI的原有能力（保留99.58%）。&lt;/p&gt;</description>
			</item>
	</channel>
</rss>
