从一团噪声中雕刻出美——扩散模型凭什么取代了GAN，统治了AI绘画时代？

Mon, 12 Oct 2026 03:30:00 +0800

引言

你可能已经习惯了：在Midjourney里输入几个词，几秒钟后，一张精美的图片出现在屏幕上。AI绘画在2025年已经成了日常工具，但很少有人问过一个关键问题——AI到底是怎么’画’出一张图的？

答案可能会让你意外。

AI画画的方式，不是像画家一样一笔一笔添加颜料，而是像雕塑家一样，从一块粗糙的石头里凿掉多余的废料。它从一团完全随机的噪声开始，一步一步地"减去"不该有的东西，最终让画面自己浮现出来。

这就是扩散模型（Diffusion Models）的核心思想。它在2020年的一篇论文中首次被证明可行，随后用短短两年时间彻底改写了AI创作的格局。

一个反直觉的天才想法

2020年，UC Berkeley的Jonathan Ho和他的导师Pieter Abbeel发表了一篇论文，标题叫《去噪扩散概率模型》（DDPM）。这篇论文的核心想法简单得近乎荒谬：

如果你能把一张好照片慢慢变成一团噪声，那你也许能学会把这个过程反过来。

想象你有一张猫的照片。你先在上面撒一点点雪花噪点，照片变得稍微模糊了一点。再撒一点，更模糊了。继续撒下去，1000步之后，照片完全消失了，只剩下一团随机的雪花——就像老式电视机的无信号画面。

这个"撒噪声"的过程不需要任何学习，纯粹的数学公式就能搞定。但关键问题来了：能不能训练一个AI，让它学会把这1000步倒回去？ 从一团雪花开始，每一步预测"哪些是噪声、哪些是图像"，然后把噪声减掉一点，一步步还原出那张猫的照片？

Ho的论文回答了这个问题：可以。而且效果出乎意料地好。

为什么这个"笨办法"效果这么好？

扩散模型的工作原理可以分成两个阶段：

训练阶段——让AI学会"去噪"。给模型看数百万张图片，每张图片都加上不同强度的噪声，然后让AI猜：“这个噪声图里，噪声到底是什么？“AI最初猜得一塌糊涂，但经过反复训练，它逐渐学会了在任何噪声强度下识别并去除噪声。

生成阶段——从噪声中"雕刻”。先生成一团纯随机噪声，然后让训练好的AI一步步去噪。第1步，噪声里隐约有了轮廓；第100步，出现了色块和形状；第500步，已经能看清是个人脸了；第1000步，一张清晰的照片级图像出现了。

这个过程看起来笨得可以——毕竟需要1000步才能生成一张图。但它的魔力在于稳定性。

GAN的困境：天才但难驯

在扩散模型之前，AI生成图片的王者是生成对抗网络（GAN）。GAN的思路非常巧妙：让两个AI互相对抗——一个负责造假（生成器），一个负责打假（判别器）。两者在竞争中越来越强，最终生成器能造出以假乱真的图片。

GAN的问题在于，这种"对抗训练"极不稳定。就像走钢丝，稍微调一下参数，模型就可能崩溃——生成的图片变成一坨色块，或者永远在几种模式之间跳来跳去（所谓的"模式崩塌”）。研究人员花了大量精力调参，才勉强让GAN生成高质量图片。

扩散模型完全绕开了这个问题。它的训练目标极其简单：预测噪声。不需要对抗，不需要博弈，就是一个回归任务——“告诉你一张加了噪声的图，请告诉我噪声是什么”。这个任务简单、稳定、容易训练，而且几乎不会崩溃。

2020年DDPM论文的实验结果让人震惊：在CIFAR-10数据集上，扩散模型的FID分数达到3.17，超越了当时最好的GAN（StyleGAN2的3.86）。一个"笨办法"，第一次在图像质量上打败了天才但傲慢的GAN。

速度的突破：从20小时到几秒钟

但扩散模型有一个致命弱点：慢。

DDPM生成一张32×32的小图需要跑1000步去噪，这在2020年大约需要20秒。生成一张256×256的高清图，可能需要几分钟。而GAN只需要一次前向传播，毫秒级就能出图。

这个瓶颈在2021年被斯坦福的Jiaming Song打破。他发表了DDIM（去噪扩散隐式模型），核心发现是：DDPM的训练过程其实不要求生成过程是逐步随机的——你可以把1000步压缩成50步甚至更少，用同一个训练好的模型，不牺牲多少质量。

这就像发现了一条捷径：你不需要每级台阶都踩，可以隔几步跳一级，照样能到顶。DDIM让扩散模型的速度提升了10到50倍，直接把它推向了实用化。

潜空间革命：让AI绘画飞入寻常百姓家

2022年，Robin Rombach等人发表了可能是近两年最有影响力的AI论文之一——《潜空间扩散模型》（Latent Diffusion Models）。这篇论文的想法同样优雅：

为什么非要在每个像素上做文章？一幅512×512的彩色图片有78万个数值要处理，但其中大部分信息是冗余的。 蓝天不需要一个像素一个像素地描述，你只需要知道"这是一片蓝天"就够了。

Rombach的方案是分两步走：

压缩：先用一个预训练的编码器把图片压缩到一个很小的"潜空间"——512×512的图片被压缩成64×64，数据量缩小了约64倍，但保留了所有重要的语义信息。
生成：在这个小小的潜空间里做扩散。计算量骤降，但生成质量几乎不受影响。

更妙的是，他们在模型里加入了一个交叉注意力层，可以把文字描述（比如"一只戴墨镜的猫在沙滩上"）作为条件输入，引导AI在去噪时朝着文字描述的方向生成。

这就是Stable Diffusion——一个可以在消费级显卡上运行的开源AI绘画模型。它直接催生了整个开源AI创作生态：LoRA微调让你用自己的照片训练专属风格，ControlNet让你精确控制构图和姿态，DreamBooth让AI记住特定的角色或物体。

更深一层的思考：创造是减法

扩散模型的成功，让我想到一个有趣的哲学问题：创造的本质，到底是"添加"还是"减少"？

我们通常认为创造是加法——画家在空白画布上一笔一笔添加颜料，作家在白纸上一个字一个字写出故事。但米开朗基罗说过：“我只是把多余的石头去掉，大卫就一直在那里。”

扩散模型选择的正是这条"减法之路"。它不试图从虚无中构造任何东西，而是相信：在噪声的混沌中，秩序已经存在，你只需要去掉那些不属于它的东西。

这个思路和认知科学中的"预测编码"理论惊人地相似——我们的大脑也不是在被动接收信息，而是在不断预测感觉输入，然后只处理预测与实际之间的"误差"。换句话说，大脑也在做"去噪"。

从DDPM到Stable Diffusion，从GAN的对抗到扩散模型的雕刻，AI生成模型的演进史不只是技术迭代的故事。它揭示了某种关于"创造"的深层规律——最高明的创造，也许不是无中生有，而是从混沌中让秩序自然浮现。

扩散模型的2026：不止于图片

今天的扩散模型已经远超图片生成的范畴。视频生成（Sora、可灵）、3D模型生成、音乐创作、分子设计、蛋白质结构预测……几乎所有需要从无序中"生长"出有序结构的领域，都在被扩散模型改造。

2026年最值得关注的进展包括：

Flow Matching：一种新的训练范式，用直线传输代替复杂的噪声调度，让扩散模型训练更简单、更快
一致性模型（Consistency Models）：目标是1-2步就生成高质量图片，直接挑战GAN的速度优势
可控生成：从文本到图像、从草图到照片、从动作到动画——控制粒度的精细化让AI创作从"盲盒"变成了精确的工具

写在最后

从2020年一篇不起眼的NeurIPS论文，到2026年数十亿美元的产业规模，扩散模型的故事提醒我们一件事：好的想法不需要复杂，它只需要是对的。

“把图片变成噪声，再学着自己逆转回去”——这个想法简单到一个高中生都能理解。但它需要一群足够优秀的研究者，在GAN如日中天的时候，去重新审视一个5年前几乎被遗忘的理论框架，然后用精确的实验证明：这条路走得通。

下次你在Midjourney里生成一张图片的时候，不妨想一想：在你看到的精美画面背后，是一团噪声正在被一千次微小的修正，一步一步雕刻出来的。这大概是技术与美学最优雅的交汇点之一。

参考论文：

Ho, J., Jain, A., & Abbeel, P. (2020). Denoising Diffusion Probabilistic Models. NeurIPS 2020.
Song, J., Meng, C., & Ermon, S. (2021). Denoising Diffusion Implicit Models. ICLR 2021.
Rombach, R., Blattmann, A., Lorenz, D., Esser, P., & Ommer, B. (2022). High-Resolution Image Synthesis with Latent Diffusion Models. CVPR 2022.

Midjourney on 灵语AI