小型AI模型全球崛起：网络算力薄弱地区的新机遇

点击蓝字 关注我们

SUBSCRIBEto US

Marcelo Rovai

2019年某个清晨，Adebayo Alonge在开普敦的一家酒店房间内，正准备展示其初创公司推出的人工智能解决方案，旨在应对非洲医疗领域的一大严峻挑战：假药泛滥。此类假药每年导致非洲大陆数千人死亡。

这款名为RxScanner的手持光谱仪利用红外光扫描药片，将药品的分子图谱上传至内置药物数据库的AI模型。仅需数秒，AI便能依据分子特征判断药品真伪，若是假药则立即发出警报。

当时，该设备已在包括加纳、肯尼亚、缅甸以及Alonge祖国尼日利亚在内的十多个国家药房投入使用。然而，在南非的这次演示中，整套系统却完全失效。“我当时非常震惊。”Alonge回忆道。

尽管光谱仪能连接AI模型，但承载模型的数据中心远在1.4万公里之外，当地网络带宽极其有限。“我们的服务器设在美国，仅完成一次扫描检测就需耗时五分以上。”

于是，Alonge立即要求工程师压缩AI模型，开发轻量化、低功耗、可离线运行的版本，使运算能直接在安卓手机本地完成。团队仅用两小时便完成了开发，最终顺利完成了演示。

更为关键的是，这次紧急研发催生了设备的全新迭代版本。即便在没有宽带、电脑，甚至电力供应不稳定的地区，该设备也能完成药片真伪核验。这也让Alonge成为轻量化小模型AI的坚定倡导者。

面向全球普惠医疗的轻量化AI

轻量化小型AI，与发达国家倾力打造的巨型大语言模型、超大规模数据中心、动辄数十亿美元的投入，以及关于人工智能意识的各类讨论截然不同。但对全球数十亿民众而言，实用且唯一能够落地使用的AI，恰恰是这类小型模型。（世界银行11月发布的报告显示，全球最贫困国家中仅0.7%的网民使用过ChatGPT，而发达国家该比例达到四分之一https://www.worldbank.org/en/publication/dptr2025-ai-foundations：。）

世界银行行长Ajay Banga于今年1月在达沃斯世界经济论坛上表示：“当下绝大多数讨论都聚焦大语言模型与生成式AI，但这类技术需要庞大算力、充足电力、海量数据，以及专业技术人员运维。除中印两国之外，发展中国家几乎无法同时集齐这些条件。”

Banga指出，小型AI却能在不具备上述资源的地区提供实用、甚至能挽救生命的服务。印度政府的人工智能发展规划便大力扶持小型AI，国内已有多款轻量化系统落地服务农户。

例如，印度韦洛尔理工学院的Bala Murugan团队研发了一套无人机智能监测系统：无人机拍摄腰果植株影像，可快速识别叶片出现病斑的患病植株。整套图像分析运算全部在无人机本地完成，无需现场配备电脑，也不用连接远端中心服务器：https://www.science.org/doi/epdf/10.1126/science.adw7713。

不少轻量化AI应用采用针对特定场景训练的小型语言模型，可部署在廉价低功耗设备上：乌拉圭葡萄园利用该技术识别蚂蚁虫害；多国借助它检测携带疟原虫的蚊子；巴西部分缺少高端医疗设备的地区，还能依靠Arduino设备搭配小型AI完成心电图检测。

参与以上三项研究的巴西伊塔茹巴联邦大学工程与信息系统学院教授Marcelo José Rovai表示：“小型AI是当下人工智能领域最重要的发展方向，相关技术正飞速发展。”

终端低功耗小型人工智能模型

Moez Altayeb

世界银行11月的报告将小型AI称作“极具发展潜力的趋势”，但在Alonge、Rovai以及一众从业者看来，它的意义远不止于此。从长远来看，巨型大模型的使用成本终将让大多数使用者难以承担，而小型AI才是能够惠及最多人群、具备可持续发展能力的人工智能形态。

Alonge表示：“我认为人工智能的未来并非集中在单一中心的巨型大模型，而是数百万个轻量化、精准化的边缘小模型，每个模型只针对特定场景、特定问题完成专项任务。”一方面，全球绝大多数人口（既包含发展中国家民众，也涵盖发达国家部分地区人群）都无法使用顶尖前沿大模型；另一方面，巨型模型本身不具备可持续性。

Alonge表示：“倘若没有资金补贴，绝大多数人根本负担不起巨型大模型。因此，我们这些小型AI研发从业者，必须为全球绝大多数普通人打造适配的人工智能方案。”

业内目前尚未对“小型AI”作出严格定义，但该概念一般指参数量最高仅数十亿的语言模型。与之形成对比的是，前沿顶尖大模型参数量可达万亿级别。这类小模型体积轻巧，能够直接在手机或树莓派单板机上本地运行。正因如此，搭载小模型的应用无需接入数据中心，运行功耗仅几瓦，通常依靠电池或太阳能板供电即可。

Rovai称，尽管这类模型资源占用极低，但其底层技术逻辑和巨型AI模型并无本质区别。很多小型语言模型的制作思路，和Alonge那款手机端药品检测仪内置模型完全一致：对大模型进行剪枝处理，剔除和当前业务无关的参数。Rovai解释，经过剪枝后的模型通用综合性能会有所削弱，但在它被优化的专项任务上，依旧能保持极佳的效果。

RxAll

Rovai介绍，还有另一类小型模型采用模型蒸馏技术开发。这类模型通过训练模仿大模型的输出逻辑，最终性能能够逼近作为“教师”的大模型。还有一种轻量化手段是降低大模型运算精度，例如将原本基于32位架构运行的模型适配为8位架构。如果机器学习应用仅用于数据分类、趋势预测（例如识别蚂蚁虫害），还可以直接在小型设备上从零训练模型，完全不需要依托大模型改造。

Rovai表示，如今部署这类专用小型AI系统的门槛正在不断降低，主要有两大原因。

第一，硬件性能持续提升，同时功耗不断降低。现在越来越多手机能够本地运行小型AI，尤其是搭载神经网络处理单元的机型。NPU是专门处理AI任务的芯片，可执行人脸识别、调整照片亮度、阴影与对比度等功能。

科技研究机构Counterpoint的数据显示，2025年全球出货的智能手机中，仅有略超三分之一可本地运行生成式AI；到今年年底，这一比例将升至45%。明年年末，过半智能手机将具备本地运行小型AI模型的能力（https://counterpointresearch.com/en/insights/genai-smartphone-share-to-rise-to-45-percent-of-global-shipments-in-2026）。

Rovai提出的第二个利好因素，是语言模型的资源占用门槛持续降低。他表示，谷歌DeepMind今年4月发布的Gemma 4、Alibaba的Qwen 3.5两款模型都非常适合小型AI场景。二者均为开源权重模型，使用者可按需调整模型参数间的连接关系。举个例子，“我们可以导入大量乳业相关数据，基于该模型完成专项微调训练，操作十分简便。”Rovai说道。

Rovai在一场Zoom线上会议中，结合自己最新的一项实验佐证了以上两点优势。他举起一台设备介绍：“这是新款Arduino UNO Q，售价50美元，搭载高通芯片组。我在上面部署了小型语言模型，它能够采集传感器数据并加以分析，以此识别容易滋生蚊虫的小型积水洼，整机运行功耗仅3瓦。”

扶持小型AI研发落地

世界银行认为，已有数百万民众从这类轻量化AI应用中获益，因此如今正大力推广小型AI，配套举措包括专项资助、专家指导项目、资金支持、技术咨询，以及适配小型AI发展的政府政策参考方案。例如在卢旺达，世界银行正在扶持当地政府项目，为低收入家庭配备可本地运行AI的终端设备。

尽管如此，没有人认为大语言模型会彻底退出舞台。Rovai表示，想要开发出能够在手机或小型终端上运行的生成式AI，离不开大模型积累的架构思路、数据处理技术与实验成果。“轻量化小模型，本身就是依托大模型才得以诞生。”

Alonge提到，虽然小型AI能惠及无法使用大型AI的人群，但这项技术无法从根源上解决发展失衡与数字鸿沟这类宏观问题。仅仅落地小型AI，并不能帮助各国绕开搭建人工智能配套生态的难题：稳定供电、完善的供应链、能够培育AI工具研发人才的教育体系，这些缺一不可。

他的药品检测仪即便脱离网络，依靠手机也能连续工作数日，但他坦言：“设备仍需要定期同步更新，录入新的药品特征数据库与分析模型。即便依靠电池供电，稳定的电力供给依旧至关重要，手机电池终究无法永久续航。”

Alonge称，全球很多地区的小型AI发展前景仍充满不确定性。“小型AI技术切实可用，各地早晚都会产生使用需求。关键在于各国决策者是否具备长远眼光，愿意投入资金建设配套基础设施，保障其长期落地运行。”

微信号｜IEEE电气电子工程师学会

新浪微博｜IEEE中国

Bilibili | IEEE中国

· IEEE电气电子工程师学会 ·

往

期

推

荐

如何进入数据科学领域：入门岗位与多元化职业路径

机器人行业迈向真实应用，专家关注2026年关键转变

聚变初创企业商用反应堆设计获重大进展

如何减少对智能手机的依赖？