AI管控的另一重风险:混淆不同的AI应用场景
另一种AI风险:像对待同类事物一样管控AI
三个月来,我一直在论证GMP环境下AI的问题根源在于管控,而非应用本身。三月份我提出了这一观点,四月份我在FDA警告信中进行了实例说明,五月份我将其浓缩为一句话:模型不承担质量部门责任,企业承担。
这个月,我想换个角度来阐述这个观点,因为第二种失败模式正在悄然变得更加普遍。
看看过去30天的监管动态:USP标准和供应短缺报告;FDA关于细胞和基因疗法的指南,以及审批、标签变更和警告信;MHRA与FDA的联络项目;MHRA关于医疗AI的证据库;以及FDA首个进入ISTAND项目的计算机模拟工具。这并非什么异常的月份。
没有任何质量部门能对所有这些事务都施以最高规格的繁文缛节。然而,这恰恰是许多组织如今对AI的本能反应——将每一个AI应用场景,无论是GMP会议纪要、初稿SOP还是批放行输入,都施以同样繁重的验证、同样冗长的文档记录、同样冗长的审批流程。这种本能看似安全,实则并非真正的治理,而是一种不追踪风险的阻力,它训练人们将管控视为走过场。
这里有个让人不安的事实:管控不足与管控过度是同一问题的两面。两者都源于未能以预期用途和风险为锚点。Purolea警告信(四月份)呈现的是风险管控不足——AI输出进入记录却无需审核。过度管控的本能则恰恰相反:风险不加区分,每项输出都被当作放行决策来对待。ICH Q9正是治愈这两者的良方,而且它一直就躺在工具箱里。
值得注意的是,监管机构在展示比例适当的应对方式方面比许多制造商做得更好。当FDA将AI驱动的数字肝脏模型纳入新药创新科学技术方法(ISTAND)试点项目时,它并非为"AI用于毒理学"背书,而是接受了意向书——这是三步资格认定的第一步,针对的是狭义界定的使用场景。该工具必须凭借特定目的而非一般能力来赢得其地位。这本身就是写入路径本身的风险比例治理。
三点启示
按后果治理,而非按工具数量。起草会议纪要的AI与支持批放行的AI同处于药品质量体系(PQS)框架之下,却需要截然不同的管控深度。投入应追踪后果,否则会双重浪费:一次在成本上,一次在公信力上。
不加区分的管控本身也有隐性代价。到处施以繁文缛节会挤占人们对实际承载GMP风险的接触点的注意力,也会训练审核人员机械签批。每个人都执行但无人相信的管控比没有管控更糟糕,因为它看似站得住脚实则不然。
比例原则才能跨司法管辖区推广。USP、FDA、EMA和MHRA的监管输出正同步加速,而且并未整齐划一。你不可能为每个机构都维持一套独立的最高姿态。以风险为基础、以预期用途为锚点的PQS内部治理,是当要求增加速度快于趋同速度时保持连贯性的唯一途径。
结语
四个月来的经验教训不是"加强管控",而是"精准管控"。薄弱的治理在规模化时会暴露,但无法区分摘要与放行决策的治理会不堪重负,并带走团队对质量体系的信任。
所以,在问该多严格地管控AI之前,先问AI在做什么决定,以及一旦出错代价几何?答案决定了严谨程度。其他一切要么是走过场,要么是疏忽。唯一值得立足的是站得住脚的中间地带。