混合架构助力神经形态系统成为高效发现工具
目前主导全球的AI设备主要分为三种:推理型、学习型以及发现型。圣路易斯华盛顿大学的科研团队正致力于攻克其中最为稀缺的一类。最新研究揭示,构建发现型设备的途径或许更为优越。该研究由圣路易斯华盛顿大学麦凯尔维工程学院的克利福德·W·墨菲教授兼研究副院长沙塔努·查克拉巴蒂主导。
该成果已刊登于《自然通讯》期刊,其基础是此前关于混合系统架构的探索。这种架构采用了模仿人类神经生物学功能的“神经形态”设计,并融合了利用量子力学原理来应对复杂问题最优解的系统。
查克拉巴蒂指出,研究显示,这类设备能够持续产出高可靠性且具备竞争力的方案,同时在方案交付的时间指标上也表现出色。
为了理解新系统的运作机制,我们需要回顾这三类不同的设备。推理机最为普遍且易于理解,例如ChatGPT便属于此类。若你要求大型语言模型(LLM)解开魔方,由于该LLM已接受过解决此问题的精确步骤训练,它能在数秒内给出指令。
试想一下,若未有人教授机器这些步骤,但用户期望其自行“掌握”所有可能的解法。这就需要一台学习型机器。然而,更棘手的难题需要更复杂的运算,进而消耗更多能源与时间。计算机与系统工程师在制造此类设备方面也已取得了显著进展。
第三类设备,即发现型机器,才是真正的挑战所在。设想一台设备不仅能找出某谜题的所有潜在解法,还能锁定最快、最优的答案,即便涉及数万亿个变量。这类设备必须借助随机性的力量。
查克拉巴蒂的最新研究实际上提供了一种打造具备此等强大能力AI设备的方案。他称,这些设备的目标是“大海捞针”,且能确保成功。
其团队研发的发现机器公式可简化为一种混合系统,该系统融合了受神经形态启发的自编码技术以及福勒-诺德海姆退火算法,后者是一种源自量子力学的工具。“这是你所需的两个关键要素,”查克拉巴蒂称。“它具有足够的通用性,可适用于任何复杂难题。”
自编码器是一种用于压缩海量数据流的技术。借助压缩后的数据,机器能够进行模式预测,并持续重复压缩流程,直至预测精准无误。
Fowler-Nordheim退火算法是一种产生噪声与随机性的手段,它让计算机能够“隧道式”地直接锁定最优解。研究人员发现,相较于传统计算手段,这正是该方法的最大优势所在。
查克拉巴蒂表示,新型计算机芯片支持模拟退火技术,这是一种量子计算手段,能更直接地运用量子力学原理,助力研究人员捕捉“灵光乍现”的瞬间。依托他们构建的混合系统,其团队能够调节发现机器以获取结果。
查克拉巴蒂及其团队与全球各地的合作伙伴通过神经形态工程研究所开展此项研究,并参与了包括科罗拉多州特柳赖德神经形态人工智能研讨会及印度班加罗尔神经形态工程研讨会在内的年度头脑风暴活动。该研究的合作者涵盖印度科学研究所、德国海德堡大学、约翰·霍普金斯大学以及加州大学圣克鲁兹分校。查克拉巴蒂的博士生法伊克·阿赫桑作为该论文的第一作者,一直致力于探究“发现”过程的突触起源。
多年来,该团队一直尝试利用一种名为伊辛模型的标准测试来应对更高阶的挑战。即便是神经网络也难以求解伊辛模型,因此他们提出了一个构想:利用量子力学的少量知识来强化下一代AI模型。但这还有另一重益处。
所提出的架构在收敛性保证方面与以往的高阶伊辛模型存在差异。这意味着,无论机器耗时六个月还是一年,最终都能找到答案。反观某些超级计算机,若研究人员起初未能正确理解提示,可能会徒劳等待一年。
“这让我联想到《银河系漫游指南》中的超级计算机‘深思’,”查克拉巴蒂说道。“当被问及‘生命、宇宙以及一切的答案是什么?’时,它耗费数百万年才给出‘42’这个答案,令其创造者们倍感懊恼。但我们团队混合系统中涌现的探索机器则不会出现此类状况。”
“这类机器能为你提供这种保证,”他表示。“六个月后,定会有所获。”