人工智能的训练三部曲

前文我们解释了 AI 的本质。本文探讨最引人关注的问题，这样的系统，人类是如何构建出来的？别紧张，不谈复杂算式，我们用“炼丹”来比喻——大模型这枚“灵丹”，需要经历三个阶段，缺一不可。 数据喂养（预训练） 大模型的起始，是“喂养”。将网络上可获取的图书、文本、网页、程序代码，数以千亿计的词汇，大量输入其中。这个环节称作“预训练”。 输入后做什么？让它进行一个填字游戏：把语句中的词语隐藏，让它猜测被遮盖的内容。猜错就调整参数，猜对则继续。经过亿万次循环，它便将人类语言的模式、知识、推理，都“浸泡”进那数千亿