医疗场景中生成式AI算法的风险识别与多元治理路径
医疗场景中生成式人工智能算法
应用的风险识别与多元治理路径研究
陈慧婷 岳远雷
摘要随着生成式人工智能算法在医疗领域的广泛部署，其面临的风险也呈现出更加复杂多变的态势。当前医疗场景中生成式人工智能算法应用存在技术固有局限、伦理规范失衡、法律法规不健全以及监管体系不完善等风险。在剖析我国医疗领域生成式人工智能算法应用风险治理现状的基础上，针对现有以及潜在的风险，并结合医疗领域生成式人工智能算法的风险特征，提出"以技制技"规制策略，再分别从伦理、法律、监管３个维度规制医疗领域生成式人工智能算法的应用风险。具体而言，应推动医疗领域生成式人工智能算法的技术创新，细化相关伦理准则，完善相应的法律规范，构建完备的监管体系，从而为医疗领域生成式人工智能算法的健康发展保驾护航。
关键词卫生信息管理,医疗,生成式人工智能,算法,风险,规制
得益于互联网大数据的普及和科学技术的飞速发展，人工智能研究不断突破，随着ＣｈａｔＧＰＴ、Ｄｅｅｐ⁃Ｓｅｅｋ等生成式人工智能工具的发布，人工智能的应用更加广泛。近年来，现代医疗领域已成为人工智能领域新的研究热点［１］。根据国家网信办等部门２０２３年发布的《生成式人工智能服务管理暂行办法》，生成式人工智能技术是指通过算法、模型和规则生成文本、图像、音频、视频、代码等内容的人工智能技术。结合联合国教科文组织的界定，可将生成式人工智能算法概括为一类底层算法模型为生成对抗网络（ｇｅｎｅｒａｔｉｖｅ ａｄｖｅｒｓａｒｉａｌ ｎｅｔｗｏｒｋ，ＧＡＮ）、变分自编码器（ｖａｒｉａｔｉｏｎａｌ ａｕｔｏｅｎｃｏｄｅｒ，ＶＡＥ）和生成式预训练变换器（ｇｅｎｅｒａｔｉｖｅ ｐｒｅ－ｔｒａｉｎｅｄ ｔｒａｎｓｆｏｒｍｅｒ，ＧＰＴ）等，能够自主生成包括文本、图像、音频和视频等多种形式的新内容的人工智能技术［２］。医疗领域生成式人工智能算法指以有限且有效的设定将输入转换为输出，通过自动分析患者文本、影像、语音等多模态医疗健康数据［３］，解决问题的过程，包括收集、整合、分析和使用等关键环节，为医疗领域提供疾病诊疗、药物研发、健康监测、医学科研以及医院运营管理等服务的算法技术［４］。医疗领域的生成式人工智能算法可以根据特定的医疗场景，在海量医疗数据中提取出具有共性的要素，针对特定的医疗问题进行反馈，再将所获取的医疗数据加以汇聚，其自主化、创造性的生成特性显著提升了医疗信息的获取与生成效率，对于重构医疗、健康、卫生、防疫、护理等全价值链，切实保障医疗质量具有重要价值。
生成式人工智能算法在医疗领域的发展与广泛应用，有助于提升医疗服务的质量和效率，但随之而来的则是更为复杂和难以预测的风险与挑战。目前，对于医疗领域生成式人工智能算法应用的风险与规制的相关研究主要集中在以下几个方面。第一，技术层面，整个学界对可解释性评估标准的采用似乎并不统一［５］，学界对于医疗领域生成式人工智能算法的透明度及可解释性研究存在争议，在要求研发者披露算法全过程还是仅需以患者可理解的方式阐述算法运行原理、逻辑等问题上尚未形成统一意见。第二，伦理层面，在全球范围内，许多文献报道称人工智能技术颠覆了关于用户隐私和数据保护的基本人权原则［６］，目前，各国政府和学界研究都致力于确立统一的伦理准则以指导人工智能健康发展，如国家新一代人工智能治理专业委员会于２０２１年９月推出《新一代人工智能伦理规范》，进一步细化落实治理原则，将伦理道德融入人工智能全生命周期。然而，医疗领域生成式人工智能的伦理问题尤为复杂，如生成式人工智能的应用可引发人机信任风险［７］，其体现在医疗领域，则加剧了医患信任问题，还可能引发医疗资源分配、医生职业地位下降及医疗人文关怀缺乏等多个方面的问题。第三，法律层面，对于采取何种模式对医疗领域生成式人工智能算法的应用风险进行法律规制，学界尚未达成一致。有学者主张借鉴敏捷治理体系［８］，保证技术的长远发展；有学者则主张采取适应性治理［９］，以回应医疗领域生成式人工智能算法的动态风险。另外，对于法律责任分配以及患者权利救济也需进一步研讨。第四，监管层面，学界对于全方位监管已达成共识，普遍认为应建立多方协作的共同监管机制，即呼吁政府、企业和社会多方力量共同参与到风险监管过程中［１０］。然而，科学技术是一把"双刃剑"，医疗领域生成式人工智能算法的快速发展，不仅是医疗数字技术迭代的红利释放，还对医疗伦理、法律以及医药卫生体制形成前所未有的挑战。所以，如何识别、分析、预测医疗领域生成式人工智能算法的应用风险从而进行有效区分规制，探索构建多元化的规制体系并提升规制的敏捷性和适应性，对促进智慧医疗事业健康发展以及提升人民健康福祉具有重要的理论价值和现实意义。
01
医疗领域生成式人工智能
算法的应用场景及风险特征
１．１医疗领域生成式人工智能算法的应用场景
在大数据和人工智能时代，生成式人工智能算法不仅属于新型技术，而且具备赋能属性。医疗领域生成式人工智能算法的应用使得智慧医疗迅猛发展，逐渐改变医疗的许多方面，其应用于疾病辅助诊断、精准医疗、医学影像等方面［１１］，极大地提升了医疗效率，增进民生福祉。国家卫生健康委、国家中医药局、国家疾控局于２０２４年１１月联合印发《卫生健康行业人工智能应用场景参考指引》，对于"人工智能＋"医疗服务管理、"人工智能＋"基层公卫服务、"人工智能＋"健康产业发展、"人工智能＋"医学教学科研４个模块共１３个类别的８４项内容进行了概念和应用场景的界定，为相关工作的开展指明方向，推进我国医疗行业的数字化转型。医疗领域生成式人工智能算法应用可分为临床应用和非临床应用两大类，临床应用即直接涉及患者诊疗或者医疗服务的核心环节，如：制定个性化治疗方案、医学影像分析、临床决策支持等；非临床应用如药物研发、医学教育培训、公共卫生管理、健康数据分析等，本文主要分析医疗领域生成式人工智能算法在临床应用方面面临的风险并进行有效规制。医疗领域生成式人工智能算法通过学习海量的医学数据和专业知识，对输入的数据进行分析，模拟医生的诊断方式，在短时间内开展筛查、诊断、风险计算、预后、临床决策支持、管理规划及精准医疗，不仅有利于提升医疗服务质量，还助力提升医疗效率、节省医疗资源。生成式人工智能算法具备巨大的发展潜力，它强大的赋能属性为医疗领域的智能化发展注入创新活力，其在医疗领域展现出广阔的应用前景，促进了诊疗模式的智能化变革。
１．２医疗领域生成式人工智能算法应用的风险特征
厘清医疗领域生成式人工智能算法应用的风险特征是深入研究其风险类型并进行有效规制的基础。然而，关于生成式人工智能算法与传统人工智能算法的风险差异，以及其与医疗相结合产生的独特风险识别，仍需深入研究。
第一，基于与传统人工智能算法比较，分析生成式人工智能算法在医疗领域应用的风险特征。生成式人工智能算法与传统人工智能算法同源而异流，传统算法依赖指令处理已有数据，完成特定任务；而生成式算法则在数据理解与分析的基础上，能够生成新文本，甚至通过模拟训练精准预测结果。生成式人工智能与传统人工智能在目标和方法、模型结构和训练方式、数据处理方式以及应用场景等多个方面展现出明显的差异性［１２］。结合以上差异性并根据联合国教科文组织（ＵＮＥＳＣＯ）《生成式人工智能教育与研究应用指南》以及经济合作与发展组织（ＯＥＣＤ）《生成式人工智能的初步政策考虑》等报告中关于生成式人工智能算法的相关阐述，分析并总结二者的基本属性和运行逻辑。见表１。通过上述表格对比分析，并结合医疗领域的高度敏感性与专业性可总结医疗领域生成式人工智能算法应用的风险特征如下：基于生成式人工智能算法的复杂程度，其黑箱属性明显，更易引发医患信任难题以及人机关系失控风险；基于训练数据"量"的差异和模型的自我学习属性，医疗领域生成式人工智能算法更易受数据偏见的影响输出具备歧视性的结论，如算法可能根据患者的经济状况提供不同的治疗建议，而非以生命健康为先的最佳治疗方案；基于"幻觉"衍生出的虚假医疗信息传播风险以及新型医疗损害侵权责任主体不明确、患者权利难以救济等风险。
第二，基于与非临床应用比较，分析生成式人工智能算法在临床应用的风险特征。基于医疗领域生成式人工智能算法的跨学科融合属性，对其进行治理既要遵循生成式人工智能的伦理原则，又须兼顾生命医学传统的伦理要求，加强医疗共同体的道德自律约束，使其在多元治理中发挥作用［１３］。生成式人工智能算法应用于医疗领域的不同方面则会衍生出不尽相同的风险，应用于非临床领域，如，在医学教育和培训中，生成式人工智能可通过模拟人类对话等方式支持传授医学知识和培养临床技能，为医学生和教育工作者提供新的学习和教学方法［１４］，但也可能因此引发学生过度依赖标准化答案，从而限制灵活思维，减少人际互动，进而不利于培养医学生与患者的互动技能［１５］。相较于非临床应用，生成式人工智能算法应用于临床领域的风险特征，主要体现为在诊疗过程中可能导致医生过度依赖技术，医疗能力逐渐下降；医患关系由传统的医患"信息不对等"主从关系衍生出医生、患者、人工智能的新型交往模式［１６］，医患信任问题更加复杂；医疗损害责任由于生成式人工智能技术多主体的介入而难以界定以及患者权利难以救济等风险。
02
医疗领域生成式人工智
能算法应用的风险识别
基于上述研究，对于医疗领域生成式人工智能算法应用的风险应从内部算法规制和外部综合规制出发，构建针对性的风险治理框架和规制体系。见图１。内部体现为对算法技术层面进行规制，外部则分别从伦理、法律和监管３个层面进行论述。针对医疗领域生成式人工智能算法技术动态风险的复杂治理需求融入"以技治技"。譬如开发一种基于人工智能的计算机网络安全风险评估系统，实时分析数据，快速识别安全威胁，并在攻击的早期阶段做出响应，以防止潜在的危害［１７］。通过"以制治技"应对技术规制之外的风险。内部从技术层面识别算法本源问题；外部伦理先行，弥补法律规制的僵化问题；在法律层面明确权责界定和患者权利救济问题；监管确保相关制度的落实与实施，进行统筹规制。
２．１医疗领域生成式人工智能算法应用的技术风险
医疗领域生成式人工智能算法为智慧医疗建设提供技术支撑和实践基础［４］，本文从技术本身出发，强调算法的有效性、准确性、安全性与可解释性，推动医疗领域生成式人工智能算法的良性发展。第一，算法的可靠性和有效性问题。其主要指生成信息的真实性问题和数据安全问题，生成信息的真实性问题指医疗领域生成式人工智能算法会生成不正确、捏造或误导性的信息，并以令人信服的方式呈现［１８］。这些虚假内容具有强隐蔽性并难验真伪，易引导医生和患者做出错误决策，具体体现为延误诊疗时机、漏诊和误诊风险，危害公众生命健康。数据安全问题则体现为数据泄露风险，个人医疗数据一经泄露，极易被不法分子利用，对数据主体造成进一步侵害，如医疗诈骗等。第二，算法的可解释性和透明度问题。生成式人工智能的理论基础和机制目前仍然是一个"黑箱"，其可解释问题在学界一直备受争议。反对者认为医疗领域生成式人工智能算法的可解释性并非必要。一方面，医学知识更重视经验而非因果解释，例如阿司匹林在其药理机制未被阐明前就已得到大规模应用［１９］。另一方面，由于算法技术的严格标准和监管程序，可解释性的缺失并不会引发信任危机，且要求过高会限制技术的发展。支持者认为尽管算法的内部机制难以解释，仍然应当充分肯定其积极的临床价值，且简易的解释也有利于促进医患沟通［２０］。目前，医疗领域生成式人工智能算法尚在发展初期，若此时即放弃对可解释性的要求，无疑会为未来的应用埋下隐患，进而引发一系列算法安全问题。第三，算法歧视问题。无论出身、能力、道德、成就等如何，国家和社会都不能强制、歧视或牺牲公民，而应是对公民一视同仁地尊重和保护［２１］。因此，应重视算法歧视问题，算法歧视受多种因素影响，主要是指研究人工智能算法的人员的认知偏见或者训练数据不完善导致歧视性的决策结果［２２］。这种歧视性输出结果一旦进入医疗决策，可能引发误诊或漏诊，进而威胁患者的生命健康。
２．２医疗领域生成式人工智能算法应用的伦理风险
生成式人工智能算法的迅速发展及其在医疗领域的广泛应用提升了医疗效率和精准度，但也对传统医学伦理和社会价值观提出全新挑战［２３］。不同学者对于伦理风险的理解不尽相同，本文对于算法和数据问题在技术层面已作研究，关于伦理风险的论述主要针对伦理准则、人机关系和医患信任三方面展开。第一，伦理准则的制定与实效问题。鉴于卫生健康法律规制的滞后性在应对突发风险时的不足，制定统一且严格的医疗领域生成式人工智能算法应用的伦理准则显得尤为重要。然而，现有的伦理规范是否足够应对"医疗＋生成式人工智能＋算法"三者相结合所产生的风险是需不断探讨的问题。正如大多数热点话题一样，人工智能伦理准则的制定存在话语泛滥而实施机制太少的困境［２４］。艾菲·瓦耶纳教授等研究者以及"算法观察"两份报告的结论对人工智能伦理指南的实效基本持否定态度［２５］。因此，即便制定出了契合的伦理准则，该伦理准则是否被遵守并取得实效也是一个重要问题。第二，人机关系失控风险。随着医疗领域生成式人工智能算法的不断完善，可能会导致医务人员对人工智能的过分依赖而降低自身的医学水平，患者可能也会更加信任人工智能给出的诊疗方案，使医生和患者成为机器的附庸和奴隶［２６］。长此以往，医疗领域生成式人工智能算法极易通过信息输出去分析、识别和塑造人的医疗观念与认知体系，引发"人工智能塑造人类"的结果。即算法技术不再是中性工具，人机地位颠倒将导致人机关系失控。第三，医患信任问题复杂化。智能医学技术的广泛应用使得临床对技术的依赖增加，但人机交流增加了医患沟通难度［２７］，医患信任体系正面临着前所未有的挑战。医疗领域生成式人工智能算法的出现对人的医疗方式、医患双方的思维方式、价值观念等都产生了重要影响，传统医患关系是医生和患者两者之间的关系，在医疗领域生成式人工智能算法的应用中，医患关系是医生、患者、生成式人工智能算法三者之间的关系。医生和患者对于生成式人工智能算法的认知直接影响医疗领域生成式人工智能算法的应用和效果，若不能平衡好三者之间的关系，则会使本来就紧张的医患关系更加复杂，进而引发更多医患纠纷。
２．３医疗领域生成式人工智能算法应用的法律风险
当现有法律、行政法规等法律规范不能满足现实医疗科技的迅猛发展时，制定并完善新的具备前瞻性、预防性、系统性的法律法规对于医疗领域生成式人工智能算法的有效规制就显得尤为重要。第一，法律规范亟待更新。目前我国有关医疗领域生成式人工智能算法的法律散见于《中华人民共和国电子商务法》《中华人民共和国个人信息保护法》《中华人民共和国数据安全法》等法律文件中，其规制方法较为碎片化，关于算法治理的专项规定有《生成式人工智能服务管理暂行办法》《算法综合治理的指导意见》和《算法推荐管理规定》，但其立法层级较低，难以对算法治理提供稳定的支持和规制。从法律规范本身来看，关于医疗领域生成式人工智能算法的规范数量总体较少，内容比较粗略，并且随着医疗领域生成式人工智能算法的不断更新迭代，风险更加复杂多样，因此，规制医疗领域生成式人工智能算法的法律规范亟待协调更新。第二，软硬法协调问题。相较于数字技术的快速变革，传统立法进程显得缓慢，难以适应"科林里奇困境"［２８］，即在技术发展的早期阶段容易控制其发展方向，但由于信息缺乏难以预测其长期影响，当技术成熟后，尽管其影响变得明显，却因技术已经与社会深度融合而难以控制。若不能采取更加灵活的治理模式，将无法有效应对技术发展带来的新风险。另外，无论采取何种治理模式，都要解决软法与硬法之间协调问题，即如何平衡二者之间的关系以弥补卫生法律的僵化是目前面临的重要问题之一。第三，医疗损害责任界定与患者权利救济难题。随着医疗领域生成式人工智能技术在临床诊疗方面的不断拓展应用，生成式人工智能所致医疗损害不断增多。但由于医疗行业自身的特殊性使得医患双方信息严重不对称，医疗机构几乎掌握全部医疗咨询数据，法院判决"唯鉴定论"的现象在民法典时代未能得到解决［３］，且目前尚缺乏同时具备医疗、生成式人工智能和法律等专业知识的复合型鉴定人才，因此可能出现患者权利救济难的问题。因此，在法律层面明确相关主体医疗损害责任归属并加快相关鉴定人才培养十分重要，其直接影响到医疗领域生成式人工智能算法的发展以及患者权益保护。
２．４医疗领域生成式人工智能算法应用的监管风险
医疗领域生成式人工智能算法因其自主性和更新迭代速度，其面临的风险也更加多样和广泛。对于医疗领域生成式人工智能算法应用的法律规制解决了框架性和原则性问题，在此基础上，还应落实具体监管理念，增强制度的可操作性。目前，监管问题主要体现在以下３个方面。第一，内部监管问题。在人工智能技术研发和应用领域，科技企业始终处于前沿［３０］。即由于技术壁垒的存在，技术研发者往往掌握更加先进的技术，加之知识产权问题，政府监管机构对于研发者内部的技术监管多有掣肘，研发者内部技术一旦缺乏监管，可能存在算法缺陷，埋下安全隐患。因此通过何种监管制度确保对医疗领域生成式人工智能研发者内部监管的落实，是目前亟需解决问题之一。第二，外部监管问题。医疗领域生成式人工智能算法训练模型的海量数据以及不计其数的参数设置和算法迭代使监管工作难度进一步加剧，加之，医疗领域生成式人工智能算法在投入运行和反馈学习阶段会不断吸收新的诊疗数据以此完善自身机制，其过程是动态变化的，因此，对于算法技术的合规审查难度加大［３１］。第三，多元主体协同共管问题。人工智能规制亟待引入合作治理［３２］，即监管问题的解决需多元主体协同合作，构建多元监管体系也已成为学界共识，但应如何调整传统的多元监管模式，以应对医疗领域生成式人工智能算法应用产生的新风险，是亟需破解的难题。另外，患者对于政府、医疗机构以及算法研发主体而言，无疑处于弱势地位，采取何种措施以切实保障患者权益，也是医疗领域生成式人工智能算法不可回避的问题。
03
医疗领域生成式人工智
能算法应用的风险规制
根据欧盟采用的提前介入规制模式和美国采用的事后风险规制模式，避免过于追求人工智能风险统一化规制模式，结合学界提出的适应性治理和敏捷治理，应坚持场景化规制，探索我国医疗领域生成式人工智能算法应用风险规制治理模式。即在治理思维上从风险统一化治理转向场景化治理，对于医疗高风险领域进行专门型精细化治理；在治理工具上，融入"以技制技"以应对新兴风险；在治理体制中，可借鉴欧盟的多元共治原则［３］。总之，关注医疗领域生成式人工智能动态风险背景下技术社会与监管环境的动态变化，并及时采取具有针对性的治理措施，以求构建一套富有弹性且具有容差性的治理体系。
３．１技术上对医疗领域生成式人工智能算法应用风险进行本源规制
通过加快技术创新，促进核心技术创新突破，充分发挥科技创新引领作用，有助于推进医疗领域生成式人工智能算法应用的规范化及良性发展。第一，保证算法的可靠性和有效性。针对生成信息的真实性问题，应确保医疗训练数据的质量，可以在医疗技术规范内制定明确的医疗数据质量标准、医疗数据审查机制、医疗数据修正程序、医疗数据留存制度等，保证医疗数据有清晰的运转流程，避免恶意标注和违规操作。对于医疗数据的保护，可通过区块链技术处理医疗信息。医疗信息区块链上的各个节点可以对加密数据进行处理，但是处理过程不会泄露任何原始内容［３４］，还可在医疗算法生成内容中嵌入可追溯信息，当发现内容被滥用或恶意使用时，迅速追溯其