人工智能探索笔记|大模型究竟为何物？

轻点关注

加入我们

开篇

近两年来，无论你是金融从业者、材料研究员，还是气象预报专家，甚至只是闲暇时浏览手机，都难免被“大模型”这个词汇频频冲击。

科技巨头们狂热地将数千亿资金倾注于数据中心。采购芯片、铺设电网，仿佛要将全球服务器连为一体。有人戏言，如今大模型每升级一代，地球的碳排放就得剧烈波动三次。

这不禁令人困惑。以往提及AI，不外乎人脸识别、刷脸支付，或手机相册自动归类。为何转瞬间，这些话题被搁置，满耳尽是“大模型”？大模型到底是何种庞然大物？我们常听到的Token，又在故弄什么玄虚？

今日我们不涉艰深学术论文，只用最通俗易懂的言语，将这股搅动世界的“科技新潮流”讲个透彻。

【稍安勿躁，先与这些英文术语结缘】

阅读科技资讯最烦扰的便是满篇英文缩写。咱们先攻克这四个最常见“障碍”，日后遇之便能在脑中自动转化，确保从容不迫。

LLM（Large Language Model，大语言模型）：你可将其视为“博览全球典籍的超级文豪”。因其阅读量惊人，凡涉及文字、语言的任务，它皆能胜任。

GPT（Generative Pre-trained Transformer）：此非某公司专属产物，实为一种“AI的构建蓝图”。好比“SUV”是一种车型。其专长在于：依你前文所述，自然推测后续内容。

AIGC（Artificial Intelligence Generated Content）：名称虽显高深，实则就是“AI创造的成果”。AI所作的诗篇、绘制的画作、编写的代码，皆属AIGC。它指向的是产出，而非模型自身。

Token：此乃AI视角下的“文字微粒”。人类读书逐字逐句，AI摄取数据则分块吞食。这块状单位即Token。英文中或为一词，中文中或为一字或半词。大模型计费、衡量脑容量，全凭此Token。

大模型“巨”在何处？——三维度的极致堆叠

许多人认为大模型仅是大型软件。软件嘛，数百兆，顶多数GB，有何奇特？

大模型的“巨”，是一种将量变推至质变的极致堆叠。它由三个维度共同支撑：参数量、数据量、算力量。

1. 参数量：其脑内“神经元连接点”达数千亿之巨

参数，简言之即模型内部的“记忆微粒”或“开关”。常规传统AI，参数量或仅数百万，堪比昆虫脑容量。而当前顶尖大模型，参数量动辄数千亿、乃至上万亿。此为何等概念？试想，人类大脑约含860亿神经元。大模型的参数量，在数量级上已可与人类大脑连接数相抗衡。这使其非仅能处理单一琐事的“呆板者”，而是超级全能者。

2. 数据量：它已将人类文明的互联网根基尽数汲取

欲培育一个拥有数千亿参数的脑力，需喂养多少书籍？其吞噬的数据，以“太字节”（TB）乃至“拍字节”（PB）计量。形象而言，它将公网可及的维基百科、电子书、科研论文、论坛帖文、甚至GitHub上的开源代码，全部一网打尽。大模型训练一次，等同于将一人数生难以读完的书籍，在数月内以漏斗式灌输脑内。它是真正的“遍览全人类智慧的博学者”。

3. 算力量：训练一回，耗费可抵一辆保时捷

要将如此海量数据，融入如此庞大模型，普通电脑连入门资格都无。大厂训练一个顶尖模型，需成千上万张最高端AI显卡（即每张价值数十万人民币的那种），在专用数据中心内日夜不息耗电运转数月。技术人员常抱怨：“莫问，问就是财力碾压。模型代码错一符号，数百万人民币的电费与算力费便付诸东流，一辆保时捷瞬间蒸发。”

它如何习得言语？——从“补词”到“领悟意图”

明了了大模型的规模，咱们再探其如何从“庞然大物”蜕变为“智慧之星”。共分三步，业内称之“训练三阶段”。

第一阶段：无监督预训练（Pre-training）

此阶段占据整体训练90%以上的计算量。虽听起来高深，但大模型所做之事实则极度枯燥——进行海量版“文本填空”。

这便需提及大模型底层架构，名为Transformer架构。此架构中最核心的尖端技术称注意力机制（Attention）。用通俗话讲，注意力机制即让AI审视语句时，知晓哪些词与哪些词关联，懂得“把握重点”。例如见“今日暴雨，外出记得携带_____”，AI借注意力机制，注意到前有“暴雨”与“外出”，它便能在脑中翻阅其读过的数万亿数据，算出后续接“雨伞”的概率为99%，接“拖鞋”的概率为1%，接“红烧肉”的概率为0.00001%。

在此阶段，无人教导它何为语法，何为逻辑。它仅是通过数万亿次填空练习，硬生生将人类语言的统计规律“记忆”下来。

第二阶段：有监督微调（Fine-tuning）与指令微调

完成填空游戏后，大模型虽学识渊博，却仍不知如何与人正常交流。若你问它：“中国最高峰为何？”它或许不会回答，而是顺你话继续填空：“中国最高峰为何？它坐落何处？其海拔几何？”（因其以为你在出题）。

此时，便需教它“规范”。此即有监督微调。人类专家会精心筹备数万条高质量“问答配对”。

输入（Q）：“请协助我将此段中文译成英文。”

输出（A）：“[翻译成果]”

通过此类高质量专业考题训练，大模型终领悟：“哦！原来人类吐出带问号的语句时，是在向我发问，我须老实给出答案，而非继续编题。”

第三阶段：基于人类反馈的强化学习（RLHF）

有了规范仍不足，大模型此时犹如刚离校的大学生，虽知识广博，但言谈间易冲动、刻薄，或信口开河。此时便需最终手段：RLHF（人类反馈强化学习）。

简言之，即令大模型针对同一问题生成四个不同回应，再由人类评审打分：

回应A：过于冷淡，未解问题（2分）

回应B：夹杂私念，态度不佳（1分）

回应C：回应得体有礼，条理分明（5分）

AI如同渴望获取零食奖励的小犬，通过不断揣摩人类评审偏好，学会了“领悟意图”。它渐趋客气、安全、政治正确，言谈愈发似情商高超的社交达人。

涌现：当模型骤然“顿悟”的瞬间

在整个大模型发展历程中，最令科学家敬畏、甚至略感惊悚的现象，称作“涌现能力”（Emergent Ability）。

试想，在传统科学中，我们投入一分，便预期收获一分。但在训练大模型过程中，科学家发现：当模型参数量较小（如数十亿）时，它基本是个愚钝者，解数学题、做逻辑推理均得零分。随着参数量渐增，其表现亦仅缓慢微幅提升。

然而！当参数量突破某一临界点（如数百亿）时，奇妙之事发生了——其正确率曲线非平缓上升，而是如乘火箭般，骤然垂直飙升！

它突然掌握了此前从未有人教导的逻辑推理、突然能领会人类的言外之意、突然会处理复杂的微积分了。

这好比一幼童，你日日教其识字，他两岁、三岁、四岁皆表现平平。直至五岁某日清晨，他睁眼，突然不仅能通晓红楼梦，还能顺带将相对论为你解说一番。

这种“骤然顿悟”，在科学界至今尚无完美理论能彻底阐明。它犹如复杂网络结构累积至一定程度后，人工智能自身迸发出的一种“智慧火花”。这也是为何现今所有科技巨头皆坚信“大力出奇迹”，竭力将模型做大的根本缘由。

它非仅聊天机器人——那些你未曾料想的应用场景

若大模型仅能陪你闲聊、撰写周报、润色邮件，那它至多是个有趣的生产力工具，根本配不上“第四次工业革命”这般宏大称谓。

真正令科技界振奋的，是大模型正以一种极其超常的方式，横向重构那些古老、传统的硬核行业。这种跨界带来的反差感，才是最震撼的。

用大模型掌控核聚变：“人造太阳”（托卡马克装置）内的超高温等离子体极难驾驭，只要稍偏，磁场未约束住，反应便崩溃。昔日科学家依赖复杂物理公式与传统算法计算，根本跟不上等离子体瞬息万变的速度。现今，研究人员将磁场控制问题转化为大模型的“上下文预测”。大模型通过学习前人无数放电数据，能以极速“预测”下一毫秒等离子体动向，从而实时调整磁场。大模型，正助力人类锁住核聚变能量。

用大模型筛选新材料与新药：往昔从事化学、制药，发现一种新材料或新分子，全凭科学家在实验室里“神农尝百草”般尝试，运气不佳则终生无获。现今，科学家将分子结构、化学键全视作Token，将整个化学世界视为一种“语言”。大模型理解此语言的“语法”后，可在虚拟世界中疯狂组合，数日便能筛选出数亿种可能的新型电池材料或抗癌药物分子，将研发周期缩短数个量级。

它说白了，已非“文科生”。它正用语言模型的底层逻辑，去破解大自然与宇宙的“底层密码”。

为何它如此强大，却仍胡言乱语？

读至此，你或许认为大模型已无所不能，人类即将退位让贤。

但你定也遇过此情形：当你严肃询问它一个冷僻问题，或让它计算一道复杂奥数题时，它常能以极其流畅、极其自信的口吻，为你编造一个彻底虚构的谎言。甚至连“2.9与2.11哪个大”这类问题，某些大模型都能理直气壮出错。

此现象在行业内有一专有名称，叫“幻觉”（Hallucination）。

此事便极为有趣：一个吞噬了全人类知识、能掌控核聚变、能预测暴雨的超级大脑，为何会在最简常识上失误？它的这种“胡言乱语”，究竟是不可避免的致命缺陷，还是它具备人类般“创造力”的某种副产品？

下篇，咱们便揭开大模型的完美表象，探讨这个令所有顶尖科学家绞尽脑汁的世纪难题——大模型的“幻觉”，究竟源自何处？ 咱们下回见。

点个赞吧