打破 AI 黑盒！深圳理工新法让医疗决策透明可信

人工智能（AI）在医疗界的渗透日益加深，但其“黑盒”属性导致只出结果不释原因。医生难以洞悉 AI 的决策逻辑，这不仅埋下误诊与失控的隐患，更阻碍了医疗 AI 通过严苛监管及获取临床信任。如何实现人机“无障碍沟通”，成为全球医疗 AI 落地的核心难题。

5 月 18 日，深圳理工大学计算机科学与人工智能学院潘毅院长、唐金陵讲席教授团队，携手中国科学院深圳先进技术研究院蔡云鹏研究员团队，在顶级期刊《Nature Biomedical Engineering》发表重磅成果。他们提出一种名为“类关联流形学习”的数学新方法，成功将黑盒 AI 的决策逻辑转化为低维可视化的流形图，并通过生成式手段产出一系列引发模型输出变化的特征样本，使医生能直观读懂模型行为，一举填平医疗 AI 的“可解释性鸿沟”，助力挖掘 AI 背后潜藏的医学规律。

此外，该研究获期刊特邀撰写每期仅一篇的研究简报（Research Briefings）予以推介。《Nature Biomedical Engineering》主编 Rita Strack 评价道：“这是一种巧妙的方法，能以用户可理解的方式探索黑盒模型的内部运作机制。”

论文上线截图

论文对应研究简报截图

主编评论截图

独创流形学习方法

把黑盒 AI“拆明白”

研究团队创新性地提出了“可重组的流形分解”思路，将海量数据与复杂的 AI 决策拆解为两个流形子空间：

①

低维类关联子流形囊括了 AI 决策的所有关键特征，主导其全部判断；

②

高维子流形则记录与诊断无关的个性化特征。

这两个空间的数据可自由重组，生成一系列按特定趋势连续变化的逼真且可控的对比样本，直观呈现 AI 决策变化与样本特征变动间的关联规律。简言之，就是将 AI 的“思维路径”压缩成一张清晰易懂的低维“地图”，让医生一目了然。

类关联流形学习算法基本框架

精度更高、维度更低

获专家盲测压倒性认可

研究团队在眼科眼底及 OCT 造影、X 光胸片、脑瘤 MRI、心电图、基因表达谱等多种生物医学数据集上进行了充分验证。结果表明，该方法效果远超传统手段，能将深度学习决策压缩至仅 8 维，维度仅为传统方法的 1/3 至 1/10；精度损失控制在 1%-3%，误差仅为传统方法的十分之一；局部特征解释准确率也显著超越前人，提取的规律与现有医学知识高度契合。

此外，多位医疗专家的盲测结果一致显示，新方法生成的解释图获得了压倒性认可。它不仅能助医生读懂 AI，还能发现疾病亚型、病灶规律及关联机制，甚至揪出 AI“短路学习”的漏洞，为临床辅助诊断和医学科研提供了更强有力的计算工具，使 AI 辅诊更安全、可靠。

类关联流形学习算法通过流形投影与连续生成变化样本的联动，实现了 AI 提取临床规律的可视化展示，并完成了与已知医学概念规律的对齐。

临床与监管双受益

医学 AI 有望迈入“透明时代”

近年来，欧盟、美国 FDA 及中国卫健委等监管机构相继出台关于 AI 可解释性的推荐性或强制性指导方针。此项成果对于提升医疗 AI 器械的安全合规性、提高辅诊质量与认可度、加速医学科学发现效率，具有极高的应用价值。从“黑盒不可知”迈向“透明可解释”，医疗 AI 终于跨越关键一步，未来诊疗将更智能、更安心。

深圳理工大学计算机科学与人工智能学院潘毅院长、唐金陵讲席教授，以及中国科学院深圳先进技术研究院蔡云鹏研究员为论文共同通讯作者。深圳理工大学与中国科学院深圳先进技术研究院联培博士后谢锐涛为第一作者。中国科学院深圳先进技术研究院李烨研究员、香港中文大学王涵研究员等共同参与研究。中山大学眼科中心多位专家为方法评测提供了重要支持。该研究获中国科学院战略性先导科技专项、深圳市高层次人才团队项目、深圳市智能生物信息学重点实验室及国家自然科学基金项目资助。

点击文末“阅读原文”查看论文👇

为 SUAT 点个赞和在看吧