人工智能的训练三部曲

前文我们解释了 AI 的本质。本文探讨最引人关注的问题，这样的系统，人类是如何构建出来的？别紧张，不谈复杂算式，我们用“炼丹”来比喻——大模型这枚“灵丹”，需要经历三个阶段，缺一不可。 数据喂养（预训练） 大模型的起始，是“喂养”。将网络上可获取的图书、文本、网页、程序代码，数以千亿计的词汇，大量输入其中。这个环节称作“预训练”。 输入后做什么？让它进行一个填字游戏：把语句中的词语隐藏，让它猜测被遮盖的内容。猜错就调整参数，猜对则继续。经过亿万次循环，它便将人类语言的模式、知识、推理，都“浸泡”进那数千亿个参数里。这一步，锻造的是“基础”。 规则教导（微调与对齐） 只会填字还不够，需教导它“如何得体表达、怎样避免越界”。第二阶段称为“微调”和“对齐”。最普遍的方法叫 RLHF——由人类担任裁判，AI 产出多个回复，人选取最优的，它便明白“这般回应才受欢迎”。 此环节解决的是“服从”问题，让它懂得按人的意愿行动，不乱发言，不产生有害信息。这一步，锤炼的是“尺度”。 实战应用（推理） 前两步是“锻造”，第三步是“运用”。你在聊天框提问，它依据之前炼成的参数，逐字逐句地“吐出”答案——每生成一个字，都依赖前面全部文字重新计算概率，选择最可能的一项。这称为“推理”或“生成”。 因此你向它提问，它实则是在“沿概率编织一段话”，并非从存储中复制现成内容。这也说明它为何有时会煞有其事地胡言乱语——概率编织出错，它便确信自己正确。这三个阶段，便是 AI 诞生的完整流程。 三个阶段，数据喂养奠基础、规则教导定尺度、实战应用做推理。听来神秘，实质是“提供示例→学习规律→按需生成”。下一篇文章，我们不谈它的起源，聊聊它究竟能为你做些什么——保证有一项，你明天就能用上。

前文我们解释了 AI 的本质。本文探讨最引人关注的问题，这样的系统，人类是如何构建出来的？别紧张，不谈复杂算式，我们用“炼丹”来比喻——大模型这枚“灵丹”，需要经历三个阶段，缺一不可。

数据喂养（预训练）

大模型的起始，是“喂养”。将网络上可获取的图书、文本、网页、程序代码，数以千亿计的词汇，大量输入其中。这个环节称作“预训练”。

输入后做什么？让它进行一个填字游戏：把语句中的词语隐藏，让它猜测被遮盖的内容。猜错就调整参数，猜对则继续。经过亿万次循环，它便将人类语言的模式、知识、推理，都“浸泡”进那数千亿个参数里。这一步，锻造的是“基础”。

规则教导（微调与对齐）

只会填字还不够，需教导它“如何得体表达、怎样避免越界”。第二阶段称为“微调”和“对齐”。最普遍的方法叫 RLHF——由人类担任裁判，AI 产出多个回复，人选取最优的，它便明白“这般回应才受欢迎”。

此环节解决的是“服从”问题，让它懂得按人的意愿行动，不乱发言，不产生有害信息。这一步，锤炼的是“尺度”。

实战应用（推理）

前两步是“锻造”，第三步是“运用”。你在聊天框提问，它依据之前炼成的参数，逐字逐句地“吐出”答案——每生成一个字，都依赖前面全部文字重新计算概率，选择最可能的一项。这称为“推理”或“生成”。

因此你向它提问，它实则是在“沿概率编织一段话”，并非从存储中复制现成内容。这也说明它为何有时会煞有其事地胡言乱语——概率编织出错，它便确信自己正确。这三个阶段，便是 AI 诞生的完整流程。

三个阶段，数据喂养奠基础、规则教导定尺度、实战应用做推理。听来神秘，实质是“提供示例→学习规律→按需生成”。下一篇文章，我们不谈它的起源，聊聊它究竟能为你做些什么——保证有一项，你明天就能用上。

ai考拉 ｜ 锋线以北