AI的'家教'——人类反馈如何让AI从'会说'变成'会做'

Thu, 20 Aug 2026 03:13:00 +0800

引言

你有没有这种感觉？

2022年底，你第一次用ChatGPT，它惊为天人——能写诗、能写代码、能聊哲学。但聊多了，你发现它有个毛病：明明不知道的事，它也能煞有介事地编出一段。

你问"爱因斯坦的第三个孩子叫什么"，它会一本正经地告诉你"叫爱德华·爱因斯坦"，然后编一段生平。实际上爱因斯坦只有两个儿子，第三个孩子根本不存在。但AI说得很流畅，像真的一样。

更让人抓狂的是，它回答问题时啰嗦、绕弯子，有时候你明明想要一个简单答案，它给你回了三篇论文。

但几个月后，你发现它变了。它开始说"我不知道"了，回答更简洁了，胡说八道的次数明显变少了。它好像变"乖"了。

是模型变大了吗？不是。是它经历了一场’家教’。

这场家教，在AI界有一个专业的名字——RLHF（Reinforcement Learning from Human Feedback，基于人类反馈的强化学习）。今天，我们来聊聊这个让AI从"聪明但叛逆"变成"聪明又靠谱"的关键技术。

第一章：AI的"青春期"——预训练模型到底缺什么

要理解RLHF的价值，得先知道一个"大模型"是怎么出生的。

通常，一个大模型要经历两个阶段：

第一阶段：预训练。 模型在海量互联网数据上"读书"——维基百科、书籍、网页、论文……它看着这些文字，学会了一个基本能力：预测下一个词。

你给它"今天天气真"，它知道该接"好"而不是"桌子"。它学会了语法、事实、推理模式——但它学到的，只是"文字之间的高概率关联"，而不是"什么对用户有用"。

这就产生了三个问题：

第一，它不知道什么时候该说"不知道"。 在它的训练数据里，几乎没有什么"我不知道"的例子。所以当它被问到不知道的问题时，它不会沉默，而是"硬编"——这就是幻觉的根源。

第二，它不知道什么回答有用。 它可能给你一段含混的长篇大论，也可能给你一个断章取义的单句。它没有"用户想要什么"的概念。

第三，它不知道什么是"好"，什么是"坏"。 它没有价值观，没有偏好，没有判断力。它只是忠实地模仿了互联网上的数据——包括那些有毒的、偏见的、不准确的内容。

预训练模型就像一个智商极高但缺乏教养的天才少年——他知道很多，但他不知道什么该说、什么不该说、怎么说才让人舒服。

RLHF，就是给这个天才少年请了一位"家教"。

第二章：三步"家教"——RLHF如何重塑AI的行为

RLHF的过程，可以理解为三个步骤，像一个"家教"的完整教学流程。

第一步：示范（SFT）——“看老师是怎么做的”

首先，人类标注者写一些"示范回答"——面对各种用户提问，标注者写出一个"好的回答"应该是什么样子的。

比如用户问：“怎么快速学好英语？”

一个好的回答应该是什么？不是写一篇关于英语学习历史的论文，而是给出具体、实用、可操作的建议。标注者会写出这样的示范回答，然后用这些数据对模型进行监督微调（SFT）。

这一步的效果是：模型学会了"模仿"——它知道了"好的回答"大概长什么样。

但模仿是有上限的。如果标注者只写了1万条示范，模型就只能在这1万条的范围内学习。超过了这个范围，它又回到了"胡编"的老路上。

所以需要第二步。

第二步：打分（RM）——“给老师当裁判助手”

这一步非常巧妙。

人类标注者不再写回答了，而是打分——对同一个问题，让模型生成多个不同回答，然后标注者对这些回答进行偏好排序。

比如用户问：“什么是量子力学？”

模型生成了三个回答：

回答A：用数学公式解释，很专业但普通人看不懂
回答B：用比喻解释，说"量子力学就像你同时在家和在公司"——通俗但不够严谨
回答C：先讲一个简单的故事引入，再逐步深入，既通俗又准确

标注者把这三个回答排序为：C > B > A。

标注者不需要写回答，只需要"选哪个更好"——这个工作量小得多，而且可以大规模进行。标注10万条"哪个更好"比写10万条"示范回答"容易得多。

用这些偏好数据，训练一个奖励模型（Reward Model）——这个模型学会了"预测人类偏好"的能力。它看一眼AI的回答，就能给一个分数：这个回答人类会喜欢几分。

奖励模型，本质上是一个"人类口味的数字化模拟器"。

第三步：强化学习（RL）——“让AI自己练”

最后一步是最精彩的。

有了奖励模型，AI就可以"自己练"了——不需要人类参与，AI自己生成回答，奖励模型给它打分，AI根据分数调整自己的策略。

这个过程用到了**PPO（Proximal Policy Optimization）**算法——一种强化学习算法，专门用来优化策略。

但这里有一个微妙的平衡：如果AI只追求分数，它可能会走向极端。 比如，它可能学会一种"高分但空洞"的说话方式——听起来很好听，实际上没内容。

为了防止这种情况，RLHF在奖励函数中加入了一个KL散度惩罚项——简单说，就是"不要偏离初始模型太远"。它鼓励AI在"保持原有知识"的基础上，去"优化表达方式"。

就像教育一个孩子：既要教他礼貌，又不能让他失去天性。 RLHF的KL惩罚，就是那个"保持天性"的约束。

第三章：一个惊人的发现——1.3B打败175B

RLHF的效果有多强？

OpenAI的InstructGPT论文给出了一个令人震惊的数据：只有13亿参数的InstructGPT，在人类偏好上，竟然超过了1750亿参数的原始GPT-3。

10倍以上的参数规模差距，被RLHF抹平了。

这意味着什么？“对齐"的价值，可能远大于"规模"的价值。

你不需要一个更大的模型，你只需要一个"更懂你"的模型。RLHF的杠杆效应极其惊人——用较小的对齐成本，获得了巨大的质量提升。

AI对齐 on 灵语AI