硅历03|人工智能发展简史03—联结主义

硅历 03

人工智能的研究派别大体上分两派，一派致力于将所有人类知识、常识、道理描述为符号，通过符号运算涌现智能，称为符号主义；一派追求模拟人类大脑神经元之间的联结机制，用数学模型仿造大脑，称为「联结主义」。还有一派行为主义，暂时不展开。

联结主义认为「智能」涌现于860亿个神经元通过突触互相放电，而不是符号的机械推导。智能是分散分布在整个网络的联结权重里，是一个整体属性。通过调整不同联结之间的强度，就能自动「学会」知识，而不用人类提炼并写好规则。

上一篇我们讲了符号主义整个过程，这一篇我们来讲讲被符号主义摁着打了五十年，但在近二十年重新崛起的联结主义。当下最热门的大语言模型（Large Language Model），就属于联结主义门派，下一回再讲。

1943年，神经生理学家麦卡洛克（Warren S. McCulloch）和逻辑学家、数学家皮茨（Walter H. Pitts，他是自学成才，没有正式学位）合作在《数学生物物理通报》上发表论文「神经活动中内在思想的逻辑演算」，首次尝试用严格的数学逻辑来描述神经系统的活动。这篇论文被认为是神经网络理论诞生的标志、联结主义和计算神经科学的开山之作，为深度学习、认知科学奠定了数学基础。

他们提出一个极度简化的神经元模型，即每个神经元就像一个开关，只有兴奋和抑制2个状态。神经元可以接收其他神经元的输入信号，当前序神经元输入信号之和超过阈值，神经元就会向后发出兴奋信号。任何逻辑都能用一组组相互联结的神经元进行表示。

1949年，神经心理学家赫布（Donald Hebb）出版了《行为的组织》，书中提出一种被后人成为「Hebb学习规则」的机制，说的是：如果两个细胞总是被同时激活，他们之间就存在某种关联；同时被激活的概率越高，二者关联度就越高。该机制于2000年被动物实验验证。后来发展的各种无监督机器学习算法或多或少都带有赫布学习规则的影子。

然后神经网络一直不温不火就到了1957年，康奈尔大学的实验心理学家罗森布拉特（Frank Rosenblatt）在计算机上模拟实现了他发明的名叫「感知机」（perceptron）的神经网络模型，是一种最简单形式的前馈神经网络。感知机可以完成一些简单的视觉处理任务，一度引起了轰动。

罗森布拉特于1962年出版《神经动力学原理：感知机和大脑机制的理论》，汇总了他所有的研究成果，成为了联结主义学派的圣经，也使得他一时名声大噪，各种国家项目研究经费、头版头条媒体报道蜂拥而至。他对着镜头演示感知机，预言它能走路、说话、看、写、自我复制、有自我意识。与几年前「逻辑理论家」的乐观一般无二。

这当然引起了符号学派的不满。一次会议上，达特茅斯会议组织者明斯基和罗森布拉特大吵了一架，明斯基认为神经网络不能解决人工智能的问题。

明斯基本人就是靠神经网络论文获得博士学位，没有人比他更清楚这把刀该插在哪里。

1969年，明斯基和麻省理工另外一位教授帕珀特合作出版《感知机：计算几何学》，书中证明：单层神经网络不能解决「异或」这一基本逻辑问题，神经网络的计算能力是极其有限的。第一版的书中明斯基对罗森布拉特的工作进行了严厉批评，认为其缺乏科学严谨性。

这个打击是致命的，所有政府资助经费开展神经网络的研究戛然而止，此前的风光全部转为羞辱与嘲讽。1971年，罗森布拉特在43岁生日当天划船时溺亡。

感知机的失败将神经网络研究带入了将近20年的漫长寒冬。

1988年，《感知机：计算几何学》再版时，明斯基删除了第1版中对罗森布拉特进行攻击的句子，并手写了「纪念罗森布拉特」。美国电气电子工程师学会于2004年设立了罗森布拉特奖（IEEE Frank Rosenblatt Award），以表彰他在神经网络领域的杰出研究。

1974年，哈佛大学的沃波斯（Paul Werbos）仍然将神经网络作为研究课题，他在博士论文中证明了，只要在神经网络中再多加一层，再加上「反向传播」的学习方法，就可以解决异或问题。这篇不合时宜的论文在神经网络低谷中并未引起重视。

沃波斯后来获得IEEE神经网络先驱奖，他也是后来热门的「循环神经网络」（RNN，recurrent neural network）的理论奠基者之一。不过后来他研究量子力学去了。

1980年，物理学家霍普菲尔德（John Hopfield）离开普林斯顿大学，前往加州理工大学担任生物物理学教授，结识了物理学家费曼和集成电路大佬米德。两人支持霍普菲尔德创立「计算与神经系统」博士项目，该计划成为神经网络研究的重要基地。

1982年，霍普菲尔德提出一种后称「霍普菲尔德网络」的神经网络模型，可以解决一大类模式识别问题；两年后，他自己用模拟集成电路实现了这个网络。

1983-1986年，他的学生谢诺夫斯基（Terrence J. Sejnowski）和辛顿（Geoffrey Hinton）一起，在原始霍普菲尔德网络基础上提出「玻尔兹曼机」，在模式识别上取得进一步惊人的进展。

霍普菲尔德网络和玻尔兹曼机振奋了神经网络领域。2024年，霍普菲尔德和辛顿一起被授予诺贝尔物理学奖，表彰他们在人工神经网络及机器学习领域的开创性贡献。

有意思的是，同年诺贝尔化学奖的一半颁给了谷歌DeepMind的两位计算机科学家哈萨比斯（Demis Hassabis）和乔普（John M. Jumper），他们开发的人工智能模型AlphaFold，成功预测几乎涵盖了科学界已知的所有蛋白质，还能从头设计新型或改良型蛋白质或化合物。

此处摘抄尼克老师《人工智能简史（第三版）》的两段原文：

近来人工智能界有种说法：AI4Science，即把科学当作人工智能的客户，这多少还有点自卖自夸之嫌。但2024年的诺贝尔奖证实了这一点，其中化学奖是名副其实的AI4Science：DeepMind的AlphaFold为化学和生物学提供了高效的工具；而物理学奖算是Science4AI：霍普菲尔德网络在人工智能低潮期为神经网络的研究提供了物理学基础。

人工智能在能力进一步大幅提升之前，在可预见的将来，会是科学的同道。我一点也不惊奇，某一天数学领域的菲尔兹奖会发给与人工智能相关的研究。发明人工智能工具的人和使用人工智能工具的人从未如此接近。

2026年8月1日，OpenAI宣布公司下一代重大模型GPT-Astra解决了10个长期开放的数学与理论计算机科学难题，花费了大概2000美元的token。有网友跑去问Anthropic的大模型Fable 5怎么评价，答曰：每一项都值得一个菲尔兹奖。

1980年代中后期，2位心理学家鲁梅尔哈特（David Rumelhart）和麦克利兰德（James McLelland）以及心理学出身的计算机科学家辛顿为领导，一帮坚持研究神经网络的科学家，以加州大学圣地亚哥分校为基地，开始了联结主义运动。

1986年，鲁梅尔哈特（David E. Rumelhart）、辛顿、威廉姆斯（Ronald J. Williams）在《Nature》上发表论文《通过反向传播误差的学习表示》，从输出层开始，将计算结果与预期结果的误差一层层告诉上一层，从而调整每一层神经元的参数，逐步达到预期。

神经网络正向传播就像工厂流水线：原材料从入口进，成品从出口出。反向传播则是质检员发现残次品后，从最后一道工序倒着往前追责，告诉每台机器「你该往哪边微调」。

论文用清晰的数学和实验展示了反向传播能训练多层网络，点燃了神经网络研究。尘封了12年后，沃波斯当年的想法终于被发扬光大。

1987-1989年前后，数学家出身的企业家赫克-尼尔森（Robert Hecht-Nielsen）提出猜想，赛本科（George Cybenko）和霍尼克（Kurt Hornik）证明通过调整神经网络可以对任何连续函数进行逼近，这类的研究被整合成「通用近似定理」。

简单的如通过神经网络拟合f(x)=2x+1这个函数，只要往神经网络里扔一个数，它就给你输出一个答案出来，扔1就出来3，扔2就出来5。推广一下，往一个神经网络输入一张图片，它能告诉你这是猫，甚至这是什么品种的猫。

神经网络一时成为香饽饽，大家都想蹭蹭热度。1993年，IEEE创办《神经网络会刊》、美国国防相关的项目和经费又开始朝这个领域汇聚。

看起来，只需要调整一堆参数，神经网络就能复现任何复杂的东西。然而，可以拟合任何连续函数不代表能训练出来。1989年，计算神经科学家波焦（Tomaso Poggio）就指出，神经网络会随着维度的增加和拟合函数平滑度的下降，所需的算力需求是指数爆炸的。

实际上，从上世纪80年代末一直到本世纪前10年，神经网络的层数一直停留在个位数，层数多了根本算不出来。

于是神经网络热度再次下降，进入平稳发展阶段。辛顿从卡内基梅隆大学搬到多伦多大学，继续带学生做神经网络。

他的学生杨立昆（Yann LeCun）在AT&T贝尔实验室开发出了卷积神经网络LeNet，能识别手写数字，后来被银行用来处理支票，商用成功了但学术界几乎没有声响。本吉奥（Yoshua Bengio）在蒙特利尔大学研究循环神经网络（RNN）。他们三个人后来被称为深度学习三巨头，一同获得了2018年的图灵奖，但在1990年代，他们是被主流抛弃的研究者。

神经网络研究者不敢说自己做神经网络了。他们被迫改名叫「机器学习」「统计学习」「模式识别」「数据挖掘」，只要不是「神经网络」和「人工智能」。

杨立昆后来回忆道：1990年代在会议里讲神经网络，「就像在一个摇滚音乐节上唱歌剧」。

彼时，支持向量机SVM等兼具理论严谨性和工程实用性的机器学习方法更受追捧，统计学习方法占据了机器学习领域的C位。

1997年，IBM的「深蓝」击败了国际象棋世界冠军卡斯帕罗夫，全球轰动。但是深蓝靠的是符号主义那套暴力搜索和人工编写的评估函数，狂欢不属于联结主义学派。以至于，2000年代初，辛顿在谷歌做过一次神经网络的演讲，听众寥寥。

2006年，辛顿在《科学》上发表了一篇关于「深度信念网络」（Deep Belief Network）的文章，首次提出「深度学习」这个词。就是把神经网络的层数增多，层数越多，网络就越深，表达能力就越强，同时训练复杂度急剧飙升。

同时他提出通过「逐层预训练」的策略，让深层网络在正式训练前就把参数初始化到一个好位置，降低反向传播的计算量。

再加上，激活函数ReLU的出现，使得反向传播梯度消失的问题得以解决，而同时英伟达为游戏玩家设计的显卡被发现极其适合做海量矩阵乘法运算。

深度学习实践真正成为可能。

同样是2006年，阿贡国家实验室的自动定理证明小组被裁掉了，符号主义和联结主义在这一年走了一个交叉。

深度学习在语音和图像上的效果很好。

2009年-2012年，微软研究院和辛顿合作，用深度学习开发了语音识别和同声传译系统，2012年，微软负责研发的拉希德在天津的一场会议上现场演示：他用英文演讲，系统用中文实时翻译，甚至合成的声音都跟他本人的声音非常相像。微软把这一成果迅速产品化，其收购的聊天工具Skype首先得益，整合了实时语音翻译的功能。

2009年，斯坦福大学李飞飞团队发布了一个包含1400万张标注图片的数据集ImageNet，有了高质量数据的加持，训练深度学习模型的效果再次飞涨。2012年ImageNet图像识别国际大赛ILSVRC上，辛顿和学生训练的8层卷积神经网络AlexNet，将图像识别错误率拉低至15.3%，获得了断层的第一，第二名是 26.2%，第三名 26.9%。

后来，61岁的辛顿和两位杰出学生克里泽夫斯基（Alex Krizhevsky，AlexNet因他得名）和伊利亚（OpenAI的联合创始人和灵魂人物）开了家专注于深度学习的公司DNNresearch，第二年就被谷歌以数千万美元收购。

从被主流抛弃的「怪人」，到ImageNet领奖台上的「深度学习之父」，辛顿坚持走了三十年。而联结主义用了60年来证明，智能不需要人类手写数百万的规则，也可以从数据中自学出来。

1980年代，辛顿开始研究词与词之间的关系，后来在文集《并行分布式处理》中提出，词可以用词与词之间的向量形式进行表示，他称为「分布式表示」，这个概念为「词嵌入」（embedding）奠定了基础。2013年，谷歌实现了词语转向量的词嵌入。2014年，谷歌又实现了「序列到序列」（Seq2Seq）架构，把一种语言的词序列编码成向量，再解码成另一种语言，机器翻译的性能得到极大提升。

为了解决自然语言只能串行训练的低效问题，2017年，谷歌大脑和自然语言处理团队参考了序列到序列词嵌入的思路，在一篇名为「Attention is All You Need」的论文中提出一种名为「Transformer」的架构，通过注意力机制使得神经网络可以并行读懂一整段话。各个实验室开始基于Transformer架构训练自己的模型。

2022年底，OpenAI实验室里一款叫「ChatGPT」的「聊天机器人」横空出世，后面的事情大家变得熟悉起来，我们下篇再说。