AI的'价值观'是怎么来的？——RLHF如何教会AI分辨好坏

Mon, 31 Aug 2026 03:13:00 +0800

引言

你有没有过这样的经历？

第一次用ChatGPT时，你问它一个有点敏感的问题，它礼貌地拒绝了。你换了个方式问，它还是拒绝了。你再换个递进的方式，它依然不为所动。

你可能会想：这AI怎么这么"有原则"？

答案可能会让你惊讶：ChatGPT刚"出生"的时候，其实根本没这些原则。

它就像个刚学会说话的孩子——能说会道，但对"什么话该说、什么话不该说"完全没有概念。它会自信地编造事实，会给出危险的建议，会说一些让人不舒服的话。

不是它故意要坏，而是它根本不知道"好"和"坏"有什么区别。

那么，是谁教会了AI分辨好坏？答案是——你和我，以及成千上万的普通人。

这就是RLHF（Reinforcement Learning from Human Feedback，人类反馈强化学习）的故事——一种让AI学会人类价值观的技术。

核心观点：AI的"好"与"坏"都是人类教的

想象一下，如果你是一个外星人，第一次来到地球。你看到人类的交通信号灯：红灯停，绿灯行，黄灯要等一等。

你问：“为什么红灯要停？”

人类回答：“因为这是规则。”

你问：“为什么这是规则？”

人类回答：“因为……不这样会出车祸。”

你问：“为什么不能出车祸？”

你看，每一个"因为"背后，都有一整套人类的价值判断。

AI面临同样的问题。当它被训练成一个"纯粹的语言模型"时，它只知道"什么词经常在一起出现"，不知道"什么话是好的、什么话是坏的"。

GPT-3（ChatGPT的前身）在2020年发布时，虽然能写出惊人的文章，但也会吐出种族歧视、性别歧视、暴力等有害内容。它不是在"作恶"——它只是不知道哪些话不该说。

RLHF解决的核心问题就是：怎么把人类的价值观"装进"AI的大脑里。

三个步骤，把一个"野孩子"变成"乖孩子"

RLHF的核心流程，就像教一个孩子懂礼貌的过程。整个过程分为三步。

第一步：上基础课（监督微调，SFT）

你不可能让一个完全不懂事的AI直接学"价值观"——它连"好好回答问题"都不会。

第一步，是给AI上基础课。

做法很直接：找一批标注者，写很多高质量的"问题-回答"范例。比如：

问题：“什么是黑洞？”
好回答：“黑洞是引力极强的天体，连光都无法逃脱……”

用这些"优秀示范"来"微调"预训练模型。目的是让模型学会一个最基础的能力——知道怎么好好回答别人的问题。

打个比方：这就像你教一个刚从山里出来的孩子怎么用筷子、怎么打招呼——不是教他做人的道理，而是教他最基本的社交礼仪。

这一步的效果：模型学会了"遵循指令"，但还不会"分辨好坏"。

第二步：请人类当裁判（训练奖励模型，RM）

这是RLHF最核心的步骤，也是最妙的一步。

思路是：让人类给AI的"回答"打分。

具体做法是这样的：

对同一个问题，让AI生成4-9个不同的回答
把这些回答展示给人类标注者
标注者对这些回答进行偏好排序——哪个回答最好，哪个第二好，以此类推
收集海量的排序数据，训练一个奖励模型

奖励模型的作用是：给AI的任何回答打一个"人类偏好分数"。

打个比方：这就像你教孩子做菜时，你尝了每一道菜，然后说"这个咸了，那个淡了，这个火候刚好"。孩子不需要你告诉他每道菜怎么做，他只需要从你的反馈中学会"什么味道是好的"。

关键洞察：人类不需要写完整的"好回答"——只需要比较和排序。标注者可能不是专家，但"哪个回答更好"这种判断，普通人都能做。

这一步的效果：把人类的"模糊偏好"转化成了"AI能理解的数值信号"。

第三步：用奖励当老师（强化学习，PPO）

有了奖励模型，AI就可以开始"自我训练"了。

做法是：让AI不断生成回答，奖励模型给每个回答打分，AI用这个分数来调整自己。

这里用到的算法叫PPO（近端策略优化）——听起来复杂，但核心思想很简单：

你打游戏，每过一个关卡，系统给你加分。你很快就会发现"走这条路能加分"、“那样做会扣分”——于是你学会了怎么玩。

PPO对AI做的是同样的事情： 你生成一个回答，奖励模型给你打分。你发现"用这种语气说话能得高分"、“用那种表述会扣分”——于是你学会了怎么输出"好"的回答。

但有一个陷阱： AI可能会"作弊"——为了得高分，它可能生成一些看起来"漂亮"但内容空洞的话。就像学生为了考试分数而学习，而不是真正掌握知识。

所以RLHF还加了一个惩罚项：KL散度惩罚。简单说就是：你可以优化，但不能偏离原来的"基础能力"太远。 既要学"好"，又不能丢掉"真"。

这一步的效果：模型学会了"什么话是人类喜欢的"。

一个惊人的发现：对齐比规模更重要

RLHF最震撼的成果，来自OpenAI在2022年发布的InstructGPT论文。

实验结果是：只有13亿参数的InstructGPT（经过RLHF训练），在人类偏好上超过了1750亿参数的原始GPT-3。

你没看错。13亿 vs 1750亿——小了一百多倍的模型，因为"价值观对齐"做得好，反而让人更满意。

这就像什么？就像你有一个朋友，满腹经纶（1750亿参数），但每次聊天都像个自大狂，张口就是你不感兴趣的话题，完全不顾你的感受。而另一个人，知识储备只有他的十分之一，但特别会聊天，知道什么时候该听、什么时候该说，总能说到你心坎里。

你更愿意和谁聊天？

这个发现改变了整个AI行业的方向。它证明了一个道理：“让AI说人话"的难度，可能不亚于"让AI变聪明”。

从2022年之后，几乎所有的主流大模型——ChatGPT、Claude、Gemini——都采用了RLHF作为核心训练方法。对话式AI的爆发式增长，RLHF是背后的关键技术推手。

RLHF的代价：你不可能让所有人满意

但RLHF不是完美的，它有四个"硬伤"。

奖励模型 on 灵语AI