引言
你有没有想过，AI是怎么学会"认出"一只猫的？
传统的方法是：给AI看几百万张标注好的猫的照片——“这是猫”、“这也是猫”、“这个不是猫”。标注这些照片的人，工作量相当于给一个城市的人每人发一本书，然后让他们一页一页地标记。
但你有想过吗？一个婴儿学会"猫"这个词，只需要看几次猫，听到大人说"这是猫"，就记住了。婴儿不需要看几百万张标注好的照片。那么问题来了：为什么AI需要标注数据，而人类不需要？
这个问题，引出了过去几年AI领域最激动人心的进展之一——自监督学习。它是让AI能够"自己教自己"的技术，是AI从"需要喂食"到"自己觅食"的转变。
第一章：AI的"饥饿问题"
传统AI的"学习"，本质上是一种"被监督"的过程。
想象一下，你是一个老师，要教一个学生认识世界上的所有动物。你准备了一套标准教材——每页一张动物照片，下面写着动物的名字。学生翻开教材，一张一张地看，一遍一遍地记，最后考了一个高分。但问题是，这套教材需要有人来编写——每一张照片都需要有人去拍照、去标注名字。这就是"监督学习"的困境。
ImageNet数据集，这个在2010年代推动AI革命的"教材"，包含了1400万张图片，由2.5万个人工花了几个月的时间才标注完成。你想想，1400万张——这个概念相当于把YouTube上所有热门视频的封面图都翻一遍，然后一张一张地写上"这是猫"、“这是狗”、“这是汽车”。
这就是AI的"饥饿问题"：它需要海量的人工标注数据才能学会一个简单的任务。而且，一旦你想让它学会一个新东西，比如识别"斑马"，你又要重新标注几万张斑马的照片给它看。
第二章：AI的"自学"实验
2019年到2020年，一场关于AI能否"自学"的实验，在几个顶级实验室之间悄然展开。
这场实验的核心问题很简单：能否让AI自己从互联网上那些没有标注的图片中学习，不需要任何人告诉它"这是什么"？
答案是：可以，而且效果惊人。
第一个突破来自Google Research的SimCLR。它的思路非常巧妙。想象一下，你有一张猫的照片。你把这张照片做两个不同的处理——一个调亮一点，一个旋转一点。然后你告诉AI：“这两张其实是一张图，你看出来了吗？“AI一开始当然看不出来，但经过成百上千万次的这种"配对训练”，它慢慢学会了：“哦，原来一只猫不管是从左边看还是从右边看、调亮还是调暗，它都是一只猫。”
SimCLR的核心洞察是：让AI自己和自己玩"找相同"的游戏。同一张图片的不同"变体"是正样本，其他所有图片都是负样本。AI需要把正样本拉近，把负样本推远。这个过程不需要任何人工标注，AI自己就能从海量图片中学习到"什么是相同的”。
但SimCLR有一个问题：它追求"找相同"的时候，需要大量负样本——也就是"不相同的图片"。为了获得足够多的负样本，它需要一次看很多张图片（比如4096张），这对GPU的要求非常高，普通实验室根本跑不起来。
第三章：一个"记忆"的革命
与此同时，Facebook AI Research（FAIR）的团队走了另一条路。
何恺明团队提出的MoCo（动量对比学习），解决了一个关键问题：AI需要一本"记忆手册"。
想象一下，你让AI认人。它看到一个新人，就在自己的记忆手册里记下这个人的特征。下次再看到这个人，它翻翻手册：“嗯，特征对上了，是同一个人。“但如果手册里只有最近见过的几个人，它就很容易忘掉之前见过的人。
MoCo的解决方案是：维护一个"队列"式的记忆库。它把过去见过的所有图片特征都保存在一个巨大的队列里——默认保存65536张。新图片进来，把最旧的挤出去。这样，AI总能从足够多的历史样本中学习和对比。
更巧妙的是，MoCo还设计了一个"动量编码器”——一个缓慢更新的影子网络。这个影子网络的作用是，让记忆库中的特征保持一致。就像你认人，如果今天看这个人的特征和你昨天看的特征不一样，那你肯定认不出来。动量编码器确保记忆库中的特征不会因为模型更新而剧烈变化。
MoCo的突破在于：它把字典大小和批次大小解耦了。SimCLR需要一次看4096张图片，MoCo只需要256张，因为它可以"记住"之前看过的几万张图片。这让所有实验室，即使是只有几张GPU的小团队，也能做自监督学习。
第四章：AI的"自我博弈”
2020年，DeepMind扔出了一颗"炸弹"——BYOL。
BYOL的诞生，源于一个朴素的问题：如果不使用负样本，AI还能自学吗？
你可能会说：当然不行，没有负样本，AI不就"我全都要"了吗？确实，对比学习依赖"拉近正样本、推远负样本"这个机制，如果没有负样本，模型很容易陷入"对所有输入都输出相同的结果"——这就是所谓的"坍塌"。
但BYOL偏偏做到了。它的方法非常有趣：让AI和自己玩"猜谜游戏"。
BYOL由两个网络组成——在线网络和目标网络。在线网络负责"猜"，目标网络提供"答案"。对同一张图片做两个不同的增强，分别输入两个网络，然后让在线网络试图预测目标网络的输出。目标网络不直接学习，而是通过在线网络参数的"滑动平均"缓慢更新。
这个设计的关键在于：预测头（predictor）的存在。它像是给AI装了一个"好奇的引擎"——让AI不断尝试去预测另一个视角下的自己，而不是简单地复制粘贴。再加上动量编码器，模型就稳定了。
BYOL之所以令人震惊，是因为它打破了"对比学习必须依赖负样本"这个共识。它证明了一个更深刻的道理：AI的"自学"能力，本质上是在寻找不同视角下的一致性，而不是在"区别"事物。
第五章：大道至简
2021年，FAIR的SimSiam又往前迈了一步。
SimSiam的研究者问了一个更尖锐的问题：BYOL、MoCo、SimCLR、SwAV这些方法，到底哪些组件是真正必要的？
他们把BYOL的动量编码器去掉，把SimCLR的负样本去掉，把SwAV的在线聚类去掉，最终只剩下一个最简单的结构——两个共享权重的孪生网络，一个预测头，一个stop-gradient操作。
最令人震惊的是：这个最简单的结构，效果和所有复杂方法一样好。
SimSiam的发现揭示了一个深刻的洞察：stop-gradient（停止梯度）是防止坍塌的关键。为什么？研究者提出了一个EM算法假设——两个网络分支实际上在做"交替优化"。一个分支负责"编码"，另一个分支在"求解"；stop-gradient就是在告诉模型"别动这一边，专注于优化另一边"。这种交替优化，天然地防止了坍塌。
这就像两个人在合作拼图——一个人拼左边的部分，另一个人拼右边的部分。如果两个人都只在调整自己的部分，永远不会看向对方，那肯定拼不到一起去。但如果一个人先拼好，另一个人去匹配——这就是stop-gradient的精髓。
第六章：AI的"填空"游戏
2022年，何恺明团队再次出手，带来了MAE（掩码自编码器）。
MAE的思路，听起来简单得不可思议：把一张图片的大部分遮住，让AI猜被遮住的部分是什么。
想象一下，你看到一张猫的照片，但猫的身体被遮住了75%，只露出了头和尾巴。你能猜出这是一只猫吗？当然能。因为你的大脑知道"猫"的形状，能够根据露出的部分推断出被遮住的部分。
MAE就是这么做的。它把一张图片随机遮住75%的像素块，让AI去"填空"。AI的编码器只看可见的25%像素，解码器负责重建被遮住的75%。这个"非对称"设计非常巧妙——编码器只处理一小部分数据，速度提升了3倍以上。
你可能会问：遮住75%，AI能学到什么？答案恰恰相反——正是因为遮住了75%，AI才被迫去理解"整体"。如果只遮住10%，AI可以通过相邻像素的连续性来"蒙混过关"，根本不需要理解画面内容。但遮住75%后，AI必须真正理解"这是一只猫，所以被遮住的部分应该是猫的身体"——它学到的不是像素，而是语义。
尾声：AI的"自学"启示
回顾自监督学习的发展史，我们能看到一条清晰的脉络：从SimCLR的"找相同"游戏，到MoCo的"记忆革命"，到BYOL的"自我博弈"，到SimSiam的"大道至简"，再到MAE的"填空游戏"——每一步都在推动AI走向"不依赖人工标注"的自学之路。
现在，自监督学习已经成为AI领域的标配。GPT系列用自监督学习理解语言，CLIP用自监督学习理解图文关系，DINO用自监督学习理解视觉特征。自监督学习，正在成为AI理解世界的"通用底座"。
但更深刻的是，自监督学习给我们的启示：真正的智能，不需要被灌输知识，而是能从数据中自己发现规律。人类的婴儿不需要看几百万张"这是猫"的照片才能认猫，是因为他们的大脑天生就具备"自监督"的能力——观察、比较、预测、验证，一步步构建对世界的理解。
AI正在走的路，也许就是人类自己走过的路。只是这一次，我们既是先驱者，也是见证者。
参考文献：
- Chen, T., et al. (2020). A Simple Framework for Contrastive Learning of Visual Representations. ICML 2020. 论文链接
- He, K., et al. (2020). Momentum Contrast for Unsupervised Visual Representation Learning. CVPR 2020. 论文链接
- Grill, J. B., et al. (2020). Bootstrap Your Own Latent: A New Approach to Self-Supervised Learning. NeurIPS 2020. 论文链接
- Chen, X., & He, K. (2021). Exploring Simple Siamese Representation Learning. CVPR 2021. 论文链接
- He, K., et al. (2022). Masked Autoencoders Are Scalable Vision Learners. CVPR 2022. 论文链接