生成式AI虚构信息致侵权，法院判定平台需担责

当前AI产品日益普及

众多用户倾向于借助AI工具查询信息

一旦AI因"幻觉"输出虚假内容

引发他人人格权益受损

责任应由谁承担？

所谓"AI幻觉"，是指大型语言模型生成看似真实合理、实则虚构的信息，这一问题已成为全球生成式人工智能技术亟待解决的核心挑战。近期，江苏省南京市中级人民法院审结一起因"AI幻觉"引发的名誉侵权上诉案件，为生成式人工智能服务提供者划定了内容治理的责任界限。

案件经过

用户起诉AI生成内容侵害名誉权

2024年9月30日，李某在某搜索平台手机端查询"姓名+职业+所在地"等个人信息时，发现平台关联了"李某被判几年"的相关内容。该平台"AI智能回答"栏目回复称"三年，李某被判处有期徒刑三年。根据搜索结果，被告人李某因犯爆炸罪，被判处有期徒刑三年"（此刑期系AI虚构，无真实判决），同时将李某身着职业装的照片展示在回答内容中。

李某认为该搜索平台智能回答展示的内容与自身实际情况完全不符，随即向某搜索平台运营商A公司发出律师函，并向A公司投诉邮箱发送投诉邮件要求删除和纠正，但A公司未予处理。

李某遂向南京江北新区人民法院提起诉讼，要求A公司删除"AI智能回答"中的不实内容，公开赔礼道歉，并赔偿误工费、精神损害抚慰金、业务损失费等经济损失共计45万余元。

A公司辩称，受AI技术发展水平限制，"AI智能回答"的回复内容受提问者的提问方式和内容影响，可能产生"AI幻觉"导致准确性不足，在此情况下服务提供者无法预见相关损害后果，不具有侵权的主观过错，因此不构成名誉侵权，不应承担赔礼道歉及相关赔偿责任。

法院审理认为，A公司通过AI技术将文字内容与图片进行加工合成，在其搜索平台"AI智能回答"中将回答文字与李某的职业着装照片一同对外展示，指向性明确，且其回答内容包含李某犯爆炸罪被判刑三年等不实、负面、贬损性表述，会对李某工作、生活等方面造成负面评价。A公司搜索平台中"AI智能回答"板块属于公开网络空间，其展示的上述不实、错误内容客观上必然降低原告李某的社会评价，产生一定的负面影响。故A公司的行为侵害了李某名誉权，应当承担相应民事责任。

同时，法院认为，鉴于庭审中双方确认A公司已将"AI智能回答"中该部分错误内容删除，故已无判令A公司删除内容的必要。结合A公司的过错程度、损害后果等因素，并以降低因网络传播对双方造成的损害为考量因素，A公司采用书面形式向李某道歉为宜。关于李某主张的误工费、精神损害抚慰金、业务损失费等，因其未能提交证据证明，故对该项诉求不予支持。

综上，南京江北新区人民法院判令A公司向李某书面赔礼道歉。A公司不服提起上诉。日前，江苏省南京市中级人民法院二审判决驳回上诉，维持原判。

判决价值

明确生成式人工智能服务者的法律责任边界

本案是生成式人工智能"AI幻觉"引发人格权侵权的典型案例，如何厘清技术中立与法律责任的关系至关重要。

"AI幻觉"是大模型基于概率生成内容时产生的固有局限，但"技术中立"并不会减轻法定责任。国家互联网信息办公室出台的《生成式人工智能服务管理暂行办法》第四条规定，"提供和使用生成式人工智能服务，应当遵守法律、行政法规……尊重他人合法权益，不得危害他人身心健康，不得侵害他人肖像权、名誉权、荣誉权、隐私权和个人信息权益"，为生成式人工智能服务的提供和使用明确了规则底线。

那么，生成式人工智能回答内容属于"信息集成"还是"内容产出"？

法院认为，本案中A公司搜索平台中的"AI智能回答"功能与传统搜索服务存在根本区别，已从传统的"信息集成"转变为"内容产出"。具体包括两方面：

——从内容层面看，"AI智能回答"将虚构信息与李某个人照片相关联，指向性明确、贬损性突出、且具有公开性，客观上降低了李某的社会评价，符合名誉权侵权的构成要件。

——从行为层面看，"AI智能回答"是生成式人工智能服务提供者通过技术主动整合、加工信息并公开展示，属于主动实施的内容生成与发布行为，而生成式人工智能服务提供者应对主动加工并予以公布的信息负有更高的内容审核与风险防控义务。

法院生效判决认定A公司的行为侵害了李某名誉权，进一步明确了"谁产出谁负责"的侵权归责原则，精准界定了生成式人工智能服务者的法律责任。

东南大学法学院副教授、江苏省法学会数字法学研究会副会长徐珉川指出，本案判决首次明确了"AI幻觉"导致侵权的过错认定标准。"在侵权责任认定上，法院明确了以控制力为核心的过错判断标准。平台利用AI技术对信息内容进行加工、合成、再创作时，必须承担与技术控制力相匹配的合理注意义务。即使存在'AI幻觉'等技术局限，平台在部署面向公众的AI问答功能时，仍应预见到涉及个人隐私、个人信息、个人名誉、犯罪记录等高风险场景，应当建立与现有技术条件相匹配的内容过滤、事实核查及快速纠错的全链条风险控制机制。"

与此同时，法院亦综合考虑到，本案发生时AI技术尚处于发展初期，A公司在事后采取了有效的补救措施，而李某亦未提供证据证明其损失等因素，仅判令A公司对李某书面道歉，而并未支持李某关于经济赔偿的诉求，坚持了民事损害的"填平原则"，没有让个案风险过度溢出而抑制、阻滞新兴行业的创新积极性。

"在AI技术发展进程中，既要对技术创新保持适度的宽容，不能苛责生成式人工智能服务者对所有技术问题承担绝对责任，但也应坚决守住保护他人合法权利的底线，使合法权益不受侵害。"承办法官表示。

随着AI技术的快速发展，越来越多新现象、新问题涌现，对平台治理、风险防范提出了更高要求。徐珉川认为，对生成内容带来的潜在侵权风险，生成式人工智能服务提供者必须构建覆盖更加科学、完善的治理体系，尤其是对可能侵害自然人人格权益、个人信息权益的内容，设置更高的生成门槛，尽可能避免侵权内容的产生。

"此案体现了司法系统对生成式人工智能侵权问题的回应，判决明确'谁能控制内容生成，谁就承担责任'的原则，为未来类似案件提供了清晰的标尺。"徐珉川充分肯定本案判决的意义。