AI如何学会懂人心？从一次选择看RLHF、Reward模型与DPO

从一个小场景，慢慢听懂一组 AI 词

晚上，菜可拿着平板跑到胖妈旁边。

“妈妈，你看。”

屏幕上，是 AI 帮她生成的三份英语学习计划。

第一份：

每天背 100 个单词。

任务安排得特别满，看起来很努力。

第二份：

每天只学 10 分钟。

很轻松，但菜可觉得：

“好像有点太少了。”

第三份：

每天背 20 个单词，加 10 分钟阅读。

再根据完成情况，调整后面的计划。

菜可想了一会儿。

“我觉得第三个最好。”

胖妈问：

“为什么？”

菜可说：

“第一个感觉坚持不了。”

“第二个感觉进步太慢。”

“第三个刚刚好。”

胖妈点点头。

“你刚刚做了一件很重要的事情。”

菜可疑惑：

“什么？”

胖妈说：

“你不是在判断哪个答案最漂亮。”

“你是在告诉 AI：什么样的答案，更适合真实情况。”

菜可眨眨眼：

“这样也算教 AI 吗？”

胖妈笑了：

“算。”

“当很多人不断做出这样的选择，AI 就多了一条继续变好的方向。”

AI 变好，不只是因为学会更多知识，也因为它开始学习什么更合适。

胖妈拿起纸，画了一个简单的箭头。

起点，是人的选择。

比如：

•这个学习计划更合理。

•这个回答更清楚。

•这个表达更符合场景。

这些选择积累起来，就可能变成训练 AI 的方向。

菜可问：

“所以 AI 会记住每个人选了什么？”

胖妈摇摇头。

“不是简单记住。”

“而是从很多人的选择里，找到一些规律。”

“比如，什么样的回答更容易被认为有帮助。”

上一期，我们聊过 AI 如何先学会能力。

它可以写文章，可以总结信息，也可以回答问题。

但是，会做不等于做得合适。

就像孩子会写字，不代表每篇作文都符合要求。

AI 也是一样。

它还需要学习：什么样的回答，更符合人的期待。

这就引出了今天三个词：

RLHF、Reward model 和 DPO。

人的选择不是答案，却能给 AI 指出调整的方向。

先说一个大方向：RLHF。

全称是 Reinforcement Learning from Human Feedback。

中文常叫“基于人类反馈的强化学习”。

名字很长，其实意思很简单：

让 AI 根据人的反馈，继续调整自己的表现。

还是刚才的学习计划。

如果很多人都觉得：

•这个计划太累，坚持不了。

•这个计划太简单，效果有限。

•这个计划比较平衡，更容易长期坚持。

这些选择被整理起来，就可能告诉 AI：什么样的计划更符合人的期待。

菜可问：

“所以我点一下喜欢，它马上变聪明？”

胖妈摇头：

“不是。”

“一次选择不会让它马上升级。”

“真正有作用的，是大量反馈经过整理以后，成为训练方向。”

如果把 AI 比成一个学生：

训练是在教它“这道题怎么做”。

RLHF 是在告诉它“什么样的答案，更符合老师和同学的期待”。

RLHF 不是一次点赞，而是一整套利用人类反馈调整模型的方法。

那人的选择，怎么变成 AI 能理解的信号？

这里会出现 Reward model。

可以把它理解成一个“小评委”。

它不负责回答问题。

它负责判断：哪个回答更符合人的偏好。

比如，AI 写了三份学习计划。

“小评委”可能会这样看：

第一份目标很高，但执行压力太大。

第二份容易完成，但提升有限。

第三份在目标、难度和持续性之间更平衡。

于是，第三份得到更高评价。

菜可问：

“所以它是在判断哪个是真的？”

胖妈说：

“不是。”

“它判断的是，哪个更容易被人认可。”

这一点特别重要。

Reward model 学习的是人的偏好，不是绝对真理。

一段回答写得很温柔，可能让人感觉很好。

但温柔不代表一定正确。

一段回答写得很完整，也不代表信息都经过验证。

现在停一下，想想你最近看到的一次 AI 回答：你喜欢它，是因为它正确，还是因为它说得顺耳？

Reward model 像一个学习偏好的评分员，而不是事实检测器。

刚才那条路线是：

人的选择 → 训练一个“小评委” → 帮助调整 AI。

但还有另一种方式，叫 DPO。

全称是 Direct Preference Optimization。

中文常叫“直接偏好优化”。

它的思路更直接。

既然人已经选出了哪个答案更好，哪个没那么好，能不能直接利用这个选择？

比如，同一个问题，AI 给出两个回答。

人选择 A 比 B 更合适。

DPO 就直接让模型多学习 A 这样的回答，少用 B 这样的方式。

菜可问：

“所以 DPO 是 Reward model 后面的一步？”

胖妈摇头：

“不是。”

“它们更像两条不同路线。”

一条路线是：

人的反馈 → “小评委” → 调整模型。

另一条路线是：

人的反馈 → 直接调整模型。

简单说：

Reward model 是先培养一个评分老师。

DPO 是直接告诉学生：“这个答案更好。”

DPO 不是不训练，而是不单独训练一个“小评委”。

现在，把前面的内容接起来。

AI 通过训练，学会了很多能力：

写作、总结、分析、回答。

但是能力增加以后，还有一个问题。

它知道怎么完成任务。

可它知道什么情况下应该怎么完成吗？

就像孩子会写作文。

不代表每次都知道该用什么语气、写给谁看、突出什么重点。

AI 也是一样。

它需要的不只是“会回答”，还要学习“什么回答更合适”。

简单理解：

训练，解决“会不会”。

偏好调整，解决“合不合适”。

训练让 AI 学会做事，人的反馈让它学会什么更合适。

这是今天最值得记住的一点。

现在的 AI 越来越会聊天，越来越懂你的语气，也越来越像一个“懂你的人”。

但这里有一个容易忽略的问题：

喜欢，不等于真实。

分数，不等于事实。

顺耳，不等于正确。

一封道歉短信写得特别诚恳，不代表事情经过一定是真的。

一个解释写得特别完整，不代表每句话都经过验证。

一个回答让你感觉舒服，也不代表它一定适合你的问题。

所以使用 AI 时，要分清三个东西：

•偏好：什么表达更符合期待。

•评价：哪个回答看起来更好。

•事实：最后仍然需要检查。

菜可说：

“所以 AI 可以学会大家喜欢什么。”

“但是大家喜欢，也不能把假的变成真的。”

胖妈点头：

“对。”

“会讨人喜欢，是一种能力。”

“能经得起验证，才是一种可靠。”

喜欢可以影响选择，却不能替事实作证。

打开任意 AI 工具。

手机上的豆包、元宝、文心一言都可以。

复制下面这段话：

看完后，先观察三份计划把差别放在哪里：目标、难度，还是能不能坚持。

不要马上问“哪份最好”。

先和孩子一起选一份，再说出三个理由：

•为什么选这一份？

•它哪里更适合？

•它真的能做到吗？

这个过程，就是在练习比较偏好。

你训练的不是模型，而是自己判断 AI 的能力。

当你说清“为什么选它”，人的偏好就不再只是一句喜欢。

胖妈说：

“今天不是让你背三个英文缩写。”

“而是看懂，为什么 AI 会越来越懂人的期待。”

“它先学会能力，再学习什么样的回答更合适。”

菜可补刀：

“所以 AI 不是被夸两句就长大。”

“它更像收到很多小纸条，慢慢知道大家希望它怎么回答。”

“但是小纸条再多，也不能证明假的是真的。”

胖妈笑了：

“这句话，可以记住。”

AI 学的是人的选择

但可靠仍要经得起事实检查。

AI 越来越强，也因为人类不断告诉它：什么样的回答更值得信任。

下次让 AI 给出几种方案时，别急着只选一个。

和孩子一起说出：为什么这一版更适合？

这个小动作，会让你们从“接受答案”，走向“判断答案”。

会选择还不够，说清选择的理由，判断才真正开始。

一路走到这里，我们已经看过：

AI 如何理解语言，如何找到信息，如何调用工具，如何学习能力，又如何根据反馈调整自己。

下一篇，我们把这些线索拼在一起，整理一张家庭版 AI 判断地图。

因为未来真正重要的能力，不只是会使用 AI。

还要理解它、使用它、判断它。

地图的最后，不是记住更多词，而是多一双会判断的眼睛。

陪自己，也陪孩子，

慢慢听懂 AI 时代的新语言。

一图记住这一期