标签

Nat Med:犹他州 AI 沙盒暴露独立监管困境

发布时间:2026-06-07 08:10来源:微信阅读:2

2026 年 5 月 27 日,约翰霍普金斯大学医学院与麻省理工学院的学者在《自然医学》期刊刊发论文,题为《犹他州临床 AI 沙盒揭示的独立监督问题》。该研究通过审计美国首个自主 AI 处方续签沙盒项目的透明度,指出了当前临床 AI 监管中静态评估机制与动态系统特性之间的治理错位,并构想了一套独立 AI 审计师注册库的结构化框架,旨在实现部署后的分布式持续监督。

监管自主临床人工智能(AI)的核心难题,既源于结构也源于时间维度。FDA 沿用的传统监管路径,倾向于对医疗器械或固定(“锁定式”)算法进行静态的一次性评估;然而在获批后,FDA 在要求持续主动测试或监测方面的权限则相对有限。可是,现代临床 AI 系统本质上是动态演进的;伴随患者群体的变迁、临床指南的迭代以及电子健康记录系统的常规升级,其性能表现可能会随时间发生漂移。

即便某个人工智能系统顺利通过了传统监管审查,经评估的模型也可能迅速过时。这便引发了治理错配:原本为认证静态技术而设计的监管机构,如今却不得不负责监督那些部署后仍在持续演变的系统。

在联邦层面尚未采取行动的背景下,美国各州立法机构开始探索灵活的替代方案,设立“监管沙盒”,意在维持监督的同时推动临床 AI 的真实世界迭代。在此过程中,各州均是在无前例可循的情况下运作,为这类直至近期才涌现的技术构建全新的治理架构。随着沙盒从立法阶段迈向实施阶段,也带来了尚未解决的设计难题:独立科学审查应在何种阶段、通过何种机制融入治理体系?

为探究上述问题,作者对美国首个处方续开人工智能沙盒进行了透明度审计,并提出了“独立人工智能审计师注册库”的架构框架,力求将严格的分布式监督与快速部署有机结合。

2025 年 10 月,犹他州成为全美首个批准处方续开人工智能沙盒的州,启动了一项为期 12 个月的试点项目,允许人工智能系统(Doctronic)为约 190 种药物开具续方。该试点采用三阶段监督架构:第一阶段,针对每类药物的前 250 名患者,由执业医师在 AI 生成建议提交至药房前进行逐例审核;第二阶段,针对每类药物随后的 1000 名患者,医师审核由事前转为事后;第三阶段,医师每月审核 5%-10% 的续方样本。这些审核工作由 Doctronic 聘用的医师执行,而犹他州人工智能政策办公室(OAIP)则按需咨询独立第三方医师及其他专家。截至 2026 年 4 月 14 日,该试点仍停留在第一阶段,犹他州方面确认处方量尚未达到进入下一阶段的标准。

表 1 美国首个自主人工智能处方续开沙盒项目透明度审计的里程碑及回应

如此大规模的部署,即便内置了安全保障措施,也亟需坚实的公共证据基础。在获批之际,唯一公开的证据仅为一篇预印本论文,该文声称该系统在急诊诊疗场景中与医师判断高度一致——然而急诊诊疗与慢性病药物管理的临床场景存在本质差异,后者需要纵向监督、对病情变化的敏锐感知以及发现隐匿性疾病进展的能力。将这两类场景混为一谈,实则是假设算法在狭窄、明确任务中的能力可以轻易外推至开放式临床诊疗的复杂情境中。

鉴于公开证据与获批的临床任务不匹配,作者试图评估该系统的基础安全数据是否可被独立获取。首先,作者联系了与该预印本论文作者相关的 Doctronic 公司,请求获取研究数据,并提出了灵活的数据共享方案。尽管该预印本承诺“根据合理请求”共享数据,但公司代表表示 Doctronic“目前无法支持数据共享”(表 1)。

其次,作者评估了该州的监督流程是否提供了任何公开透明度。作者依据《犹他州政府记录访问与管理法案》(GRAMA)提交了公共记录申请,要求获取沙盒协议要求公司提交的常规安全报告、性能指标和不良事件数据。该州拒绝公开这些信息,将临床运营指标归类为受保护的商业机密。在正式上诉后,犹他州商务部执行主任维持了这一驳回决定,称独立科学方“获取报告的利益不能超过 Doctronic 的商业保密利益”(表 1)。

这并非对 Doctronic 临床准确性的指控;该系统或许运行良好,但公众目前无从知晓。截至 2026 年 4 月 14 日,犹他州已发布了一份公开叙述性摘要,称已收到两份月度报告,且未发生严重安全事件。然而,无论是通过制造商还是公共记录渠道,基础数据、报告和结果指标本身仍无法获取,这凸显了沙盒项目成熟过程中值得解决的一个缺口。

这一教训的意义远超犹他州:医疗体系不能依赖这样一种监管框架——即受监管的实体是安全证据的唯一