智能治理||为何需要以风险视角审视人工智能
《Regulating the Risks of AI》
原文作者:Margot E. Kaminski
当前人工智能治理领域最受关注的核心议题包括:如何减少算法偏差、如何发现隐蔽偏见、如何通过检验、审计和影响评价来管控潜在威胁。
然而在这些技术层面的问题之前,还存在一个更为根本的法律议题:当法律将算法歧视、隐私侵犯、医疗资源分配失当乃至人员伤亡等现象统一归类为"风险"时,它实际上做出了何种价值抉择?
美国学者玛戈特·E·卡明斯基(Margot E. Kaminski)在其著作《Regulating the Risks of AI》中指出,风险管控并非一种客观中立、理所当然的治理手段。
它不仅提供了一系列应对技术风险的工具,更重要的是,它预先设定了:
本文真正值得深入探讨的,并非再次验证人工智能可能产生错误这一事实,而是将讨论从"怎样管理人工智能风险"推进到一个更具批判性的层面:
法律为何选择以风险管控的框架来认识人工智能,以及这一框架可能遗漏哪些重要维度?
传统侵权法通常在损害实际发生后才发挥作用。
原告需要举证损害事实、因果链条、过错程度及责任主体,随后由司法机关判定是否给予救济。
人工智能系统却对这一传统模式构成了严峻挑战。
算法决策往往由数据提供方、模型研发者、系统实施方、产品运营方和终端用户等多方主体共同参与完成。损害可能源于训练样本偏差、模型架构缺陷、应用场景变化,也可能源于人机交互异常。
即便损害结果已经显现,具体哪个环节导致了这一后果,往往难以明确界定。
卡明斯基援引的三个实践领域,呈现出相似的困境结构。
在自动驾驶事故中,表面看似乎是安全员注意力分散的问题。
但更深层的问题在于:
仅追究驾驶员个体责任,难以解释为何整个系统会允许事故发生。
在招聘场景中,亚马逊曾开发过一套自动筛选简历的系统。
由于历史招聘数据中男性占据主导地位,系统自动降低了对包含女性相关特征简历的评分。
此类歧视并非源自某个招聘人员的直接偏见,而可能被编码固化在训练数据集和评分规则内。
在医疗领域,原文提及的某套算法曾以医疗支出作为健康需求的替代指标。
由于黑人患者受医疗服务可及性等因素制约,在相同病情条件下产生的医疗支出相对较低,算法因此错误地将其判定为低风险群体,减少了他们进入重点医疗照护项目的机会。
这些实例表明,人工智能造成的损害不能简单理解为某次孤立的技术失误。
它们往往是系统架构设计、组织管理方式以及社会既有不平等格局共同作用的产物。
风险管控因此展现出显著的理论吸引力。
它将治理时机前移,无需等待受害者完成复杂的因果论证,而是要求相关组织在系统设计、部署和运行全流程中识别风险、开展测试并持续消解风险。
但随之而来的问题是:
当法律关注焦点从"谁伤害了谁"转向"如何降低系统性风险"时,受害者能否获得实质性赔偿、某项技术是否根本不具备使用条件、谁有权决定社会可接受的风险阈值,这些核心议题反而可能被边缘化。
风险并非损害的另一中性称谓。
损害通常指向已实际发生的具体后果,而风险则面向未来,侧重于某种不利结果发生的概率及其可能造成的严重程度。
将人工智能伤害纳入风险框架,意味着治理导向发生了转变:
这种转变有利于事前预防,却也悄然改变了法律审视问题的维度。
当治理者聚焦于总体错误率、平均精准度和群体差异时,个别受害者承受的严重侵害可能被统计数据所掩盖。
只要某套系统在整体表现上优于人工判断,部分人的权益受损就可能被合理化为技术进步必须付出的代价。
因此,真正需要审慎讨论的不仅是风险计算是否精准,更关键的是:
谁在承担风险,谁在获取收益,以及哪些损害被允许纳入成本效益的核算之中。
卡明斯基将风险管控的这一特征概括为"技术改良主义"。
其核心逻辑是:
技术已然或即将投入应用,法律的任务是发现问题、减少偏差、强化安全措施,确保技术能够持续运转。
在这一范式下,最常被追问的是如何提升算法精准度,而非为何必须依赖算法。
治理者会探讨如何优化招聘系统,却未必追问某些人格特质、情绪状态或行为模式是否适合交由机器评判。
治理者会讨论如何提升医疗风险评估精度,却未必充分审视此类评估是否会加剧医疗资源分配中既有的不平等现象。
风险管控当然可以包含禁止令和许可制度。
但原文所考察的制度设计更多倚重:
由此形成的治理逻辑是:无需先证明技术值得使用,而是先假定技术可以使用,再要求企业管控其负面影响。
风险管控最擅长处理可量化的问题。
例如:
这类问题可以转化为具体数值,也能据此制定统一的检验标准。
但尊严遭受侵蚀、自主性被削弱、被不透明系统评价所带来的焦虑感,以及弱势群体持续被排斥的社会代价,却很难被简化为统一的可衡量指标。
症结不仅在于部分损害难以量化,更在于量化方法本身蕴含着价值判断。
以算法公平为例,公平并不存在唯一确定的数学诠释。
选择群体结果均等、机会均等还是个体待遇一致,并非单纯的计算问题,而是不同公平理念之间的制度性抉择。
倘若这些抉择被委托给模型开发者、审计人员或标准制定机构处理,政策层面的争议就可能被包装成纯粹的技术问题。
最终,看似由数据驱动的结论,实际上包含了未经充分公开讨论的价值排序。
数字能够提升治理的操作便利性,却无法消除数字背后的规范性判断。
影响评估是当前人工智能治理领域最受推崇的工具之一。
但卡明斯基提醒我们,名目相同并不意味着制度功能相同。
影响评估至少可能承担三种截然不同的功能。
组织在部署系统前公开披露风险信息,使公众和利益相关方能够表达意见。
这一模式的重心在于民主参与。
企业完成评估或认证后,方可部署高风险系统。
监管机构据此判断是否准许系统进入市场。
这一模式的重心在于市场准入管控。
评估主要在组织内部循环运行,用于识别、衡量和控制企业面临的风险。
这一模式的重心在于内部治理,而非外部透明度。
三种模式可能采用相似的表格、流程和术语,但其问责导向截然不同。
企业编制了一份影响评估报告,并不意味着:
倘若未明确说明评估结果向谁公开、由谁审查、违反要求将产生何种后果,影响评估极易退化为内部合规文件。
风险管控关注的是未来可能发生的损害,侵权责任关注的是已经实际发生的损害。
两者原本可以形成互补关系。
但原文指出,许多人工智能治理方案侧重于风险评估和风险消解,却未能同步构建完善的个人救济渠道。
受影响者可能面临以下障碍:
这不仅关乎受害者能否获得合理补偿,更关乎制度如何从实践中学习改进。
个案诉讼能够暴露风险评估未能识别的问题,并将新兴的损害类型反馈给监管体系。
倘若缺乏这类外部反馈机制,企业可能长期依赖自身设定的指标来证明系统安全性。
风险治理一旦缺失权利保障、责任界定和外部监督,就可能从公共治理蜕变为企业对自身风险的管理。
企业真正关注的未必是社会整体损害本身,也可能只是违法风险、声誉风险和经营风险。
这篇论文最具洞察力的贡献,在于将人工智能治理理解为一种"法律建构"。
法律并非在技术问题产生后才被动应对。
法律选择何种概念和工具,会反过来塑造社会对技术的认知方式。
倘若法律主要采用产品安全和企业风险管理的话语体系,人工智能就会被理解为一种原则上可以使用、仅需控制故障率的普通产品。
倘若法律侧重基本权利,议题就不再局限于系统是否精准,还包括:
原文提出的四种风险管控模式,进一步阐明了制度