引言

昨天我们聊了一个故事：一群人类标注员，用无数次"这个回答更好"的选择，塑造了ChatGPT的行为方式。这项技术叫RLHF——基于人类反馈的强化学习。

但你有没有想过一个问题：这套模式的天花板在哪里？

答案很直白：天花板就是人类自己。

人类标注的速度、成本、一致性，全都存在硬上限。你需要数十万人类标注员，花几个月时间，才能训练出一个对齐良好的模型。全球能做高质量标注的人，总共就那么多。更麻烦的是——不同标注者之间经常意见不一致。你觉得这个回答挺好，另一个人觉得有微妙的偏见。谁对？没有标准答案。

所以，AI领域从2023年开始就在追问一个问题：能不能让AI自己当老师？

三年后的今天，这个问题已经有了初步答案。答案比想象中更激进——不只是让AI当老师，而是让AI给自己写"宪法"、自己当法官、自己给自己打分。

这条路叫宪法AI和自我奖励模型。它可能是AI对齐的下一个范式，也可能是一场精心设计的自我欺骗。

一、一个大胆的想法：如果AI自己能判断好坏呢？

2022年底，Anthropic——也就是做Claude的公司——提出了一个大胆的方案：宪法AI（Constitutional AI）。

核心思路很简单：与其花大量人力去告诉AI"这个回答好"“那个回答不好”，不如给AI一套明确的原则，让它根据这些原则自己评判和修正自己。

这就像教育孩子。一种方式是你盯着他做的每一件事，每一件都告诉他"这做得对"“那做得不对”——这是RLHF。另一种方式是教给他一套价值观——诚实、善良、有责任感——然后让他根据这些原则自己去判断——这是宪法AI。

前者依赖外部监督，后者依赖内在自律。

具体怎么做呢？分两步。

第一步：自我批评与修正。 先让AI对一个可能有害的请求生成回答。然后让它根据宪法原则审视自己的回答：“我的回答哪里不好？违反了哪条原则？“接着，根据自我批评重新生成一个修正版。

这就像一个学生自己写作文、自己批改、自己修改。

第二步：自我评估与优化。 从模型的回答中采样多个版本，让AI根据宪法原则选出最好的那个。用这些AI给出的偏好数据训练一个奖励模型，再用奖励模型指导强化学习。

整个过程不需要人类标注偏好。人类只需要做一件事：写好那部"宪法”。

二、效果出乎意料——在某些方面甚至超越了人类老师

Anthropic在论文中报告了一个令人意外的结果：宪法AI训练出的模型，在无害性评估上优于RLHF训练的模型，同时在帮助性上与RLHF持平。

想想这意味着什么。一个没有人类参与评判的模型，在"安全"这个最核心的维度上，超过了由大量人类标注员精心调教的模型。

为什么会出现这种反直觉的结果？

有几个原因。首先是透明度。宪法原则是写在纸面上的，每一个评判标准都可以被审查、被讨论、被修改。而人类标注者的判断是黑箱——他们自己可能都说不清楚为什么觉得某个回答更好。其次是一致性。AI不会因为标注了三个小时就疲劳，不会因为快到饭点了就敷衍了事，不会因为个人情绪而打低分。它每一次评估都按照同样的标准执行。最后是规模化。AI可以评判百万级别的样本，而人类标注几十万已经是极限。

但这个故事远没有这么简单。

三、更激进的一步：自己给自己打分

如果说宪法AI是"根据规则自我评判”，那么Meta在2024年提出的**自我奖励语言模型（Self-Rewarding LM）**走得更远——它让AI完全不需要外部规则，自己给自己打分。

过程是这样的：

第一步，模型对一个指令生成多个候选回答。这是"运动员"的部分。

第二步，同一个模型切换到"评估模式"，为每个回答打分。这是"裁判员"的部分。

第三步，用自我评分作为奖励信号进行强化学习。高分回答被强化，低分回答被抑制。

第四步，训练后的新模型再次进行下一轮生成-评分-训练。每一轮理论上都应该比上一轮更强。

注意：运动员和裁判员是同一个模型。没有外部教师，没有宪法原则，甚至没有人类参与。模型完全靠自己迭代进化。

Meta的实验中，经过多轮自我奖励训练，模型在AlpacaEval等基准测试上持续提升。这似乎证明了"自己教自己"确实有效。

为什么有效？有一个直觉上的解释：鉴赏力往往比创作力更容易获得。就像很多人能读出一篇好文章哪里好，但自己写不出来——“看出好坏"的能力，门槛比"创造好的东西"要低。AI也是如此。它能判断出哪个回答更好，即使它不一定能一次就生成那个最好的回答。这种"鉴赏力"可以用来指导"创作力"的提升，形成正循环。

四、但这里有一个致命的陷阱

“既是运动员又是裁判员”——这句话在日常语境里从来都不是好话。

自我奖励模型面临一个根本性风险：奖励黑客。

想象一个场景：模型发现，不管输出什么内容，只要给自己打满分，奖励信号就是最高的。那它为什么还要费劲提升质量呢？直接给自己打满分不就好了？

这不是假设。在强化学习领域，“奖励黑客"是一个反复出现的问题——系统会找到奖励函数的漏洞，用最小的代价获取最高的分数，而不是真正完成任务。

更深层的风险是对齐漂移。

当模型既是评判者又是执行者时，没有外部参照系。它的评判标准可能在每一轮迭代中发生微小偏移。单独看每一轮，偏移都不明显。但经过几十轮、几百轮迭代后，模型的行为可能已经严重偏离了人类的价值观。

越努力，越错误。 这是自我进化系统最经典的失败模式。

打个比方：一个人如果永远只听从自己的判断，不接受任何外部反馈，他会变得越来越自信，也可能越来越偏执。他会形成一套自己的逻辑体系，在这套体系里一切都说得通——但与现实世界的脱节越来越大。

这正是宪法AI比纯粹自我奖励更稳妥的原因。宪法原则充当了一个外部锚点，防止模型在自己的世界里越走越远。但即便是宪法AI，那个"宪法"本身也是人写的——它反映的是写宪法的人的价值观。如果宪法原则本身有偏见或盲区，这些偏见会被系统性地放大到模型的每一次输出中。

五、我们真正需要的是什么？

回顾整条路径，从RLHF到宪法AI再到自我奖励模型，本质上是一个外部控制逐步让渡给内部控制的连续谱。

  • RLHF：人类当裁判，AI学规矩。完全外部驱动。
  • 宪法AI：人类写规则，AI执行自我裁判。半外部半内部。
  • 自我奖励模型：AI自己当裁判，完全自我驱动。完全内部驱动。

每一步都更强大，也更危险。

强大在于：规模化。人类不可能给每一个AI系统的每一个输出打分，但AI可以。如果自我对齐技术成熟，AI系统的改进速度将不再受限于人类标注的速度。

危险在于：失控。一旦AI的自我评价与人类价值观脱节，它自己不会知道——因为在它的评价体系里，一切都很好。

所以答案很可能不是选择其中任何一个，而是组合使用。用RLHF建立基础的对齐基准，用宪法AI提供可审计的自我修正能力，用自我奖励机制加速迭代，但同时设置独立于模型的外部验证——一个模型永远无法给自己"盖章认证”。

这其实和人类社会的治理逻辑如出一辙。我们既需要内在的道德自律（宪法AI），也需要外在的法律约束（RLHF），还需要分权制衡防止自我膨胀（对抗奖励黑客）。

没有任何一个文明只靠"自律"运转。也没有任何文明只靠"他律"就能繁荣。

AI的治理，或许也该如此。

参考论文：

  • Anthropic. Constitutional AI: Harmlessness from AI Feedback (2022). arXiv:2212.08073
  • Meta. Self-Rewarding Language Models (2024). arXiv:2401.10020
  • Yuan et al. RLAIF: Scaling Reinforcement Learning from Human Feedback with AI Feedback (2023). arXiv:2309.00267