AI捏造不实信息损害他人权益，平台能否免责？

当前AI产品日益普及

众多用户习惯借助AI查询各类资料

一旦AI因"幻觉"输出错误信息

致使他人人格权益受损

责任应由谁承担

近期

江苏省南京市中级人民法院

审理了一起因"AI幻觉"

引发名誉权纠纷的上诉案件

明确了生成式人工智能服务提供者

在内容管理方面的责任边界

"AI幻觉"指大语言模型生成其认为真实或看似可信的信息，已成为全球生成式AI技术面临的核心挑战之一。

用户因"AI幻觉"

提起名誉权侵权诉讼

2024年9月30日，李某在某一搜索平台手机端查询"姓名+职业+所在地"时，发现平台关联"李某被判几年"的内容，该平台"AI智能回答"功能回复"三年，李某被判处有期徒刑三年。根据搜索结果，被告人李某因爆炸罪被判处有期徒刑三年"（该刑期系AI杜撰，无真实判决），同时将李某身着职业装的照片展示在回答内容中。

李某认为该搜索平台智能回答展示的内容与实际情况严重不符，随即向搜索平台运营商A公司发送律师函，并向A公司投诉邮箱发送投诉邮件要求删除和纠正，但A公司未作处理。

李某遂向南京江北新区人民法院提起诉讼，要求A公司删除"AI智能回答"中的不实内容，公开赔礼道歉，并赔偿误工费、精神损害抚慰金、业务损失费等经济损失共计45万余元。

A公司辩称，受AI技术发展水平限制，"AI智能回答"的回复内容取决于提问者的提问内容和方式，可能产生"AI幻觉"导致准确性不足，在此情形下服务提供者难以预见相关损害后果，不具有侵权主观过错，不构成名誉侵权，不应承担道歉和相关赔偿责任。

法院审理认为，A公司通过AI技术将文字内容与图片进行合成加工，在其搜索平台"AI智能回答"中将回答文字与李某的职业着装照片一同对外展示，指向性明确，且回答内容包含李某犯爆炸罪被判刑三年等不实、负面、贬损性描述，会对李某工作、生活等方面产生负面影响。A公司搜索平台"AI智能回答"板块属于公开网络空间，其展示的上述不实、错误内容客观上必然降低李某的社会评价，产生一定的负面影响。故A公司的行为侵害了李某名誉权，应承担相应民事责任。

同时，法院认为，鉴于庭审中双方确认A公司已将"AI智能回答"中该部分错误内容删除，故已无判令A公司删除内容的必要。结合A公司的过错程度、损害后果等因素，并以降低网络传播对双方造成的损害为考量，A公司采用书面形式向李某道歉为宜。关于李某主张的误工费、精神损害抚慰金、业务损失费等，因其未能提供证据证明，故不予支持。

综上，南京江北新区人民法院判令A公司向李某书面赔礼道歉。A公司不服提起上诉。日前，江苏省南京市中级人民法院二审判决驳回上诉，维持原判。

典型意义

本案是生成式人工智能"AI幻觉"引发人格权侵权的典型案例，如何明晰技术中立与法律责任的相互关系是关键。

"AI幻觉"是大模型基于概率生成内容时产生的固有局限，但"技术中立"并不会减轻法定责任。国家互联网信息办公室出台的《生成式人工智能服务管理暂行办法》第四条规定，"提供和使用生成式人工智能服务，应当遵守法律、行政法规……尊重他人合法权益，不得危害他人身心健康，不得侵害他人肖像权、名誉权、荣誉权、隐私权和个人信息权益"，为提供和使用生成式人工智能服务明确了规则底线。

那么，生成式人工智能回答内容算"信息集成"还是"内容产出"？

法院认为，本案中A公司搜索平台中的"AI智能回答"功能与传统搜索服务存在根本区别，不再局限于传统的"信息集成"，而是转变为"内容产出"。具体而言，包括两点：

——从内容层面看，"AI智能回答"将虚构信息与李某个人照片相关联，指向性明确、贬损性明显、且具有公开性，客观上降低了李某的社会评价，符合名誉权侵权的构成要件。

——从行为层面看，"AI智能回答"是生成式人工智能服务提供者通过技术主动整合、加工信息并公开展示，属于主动实施的内容生成与发布行为，而生成式人工智能服务提供者应对主动加工并予以公布的信息负有更高的内容审核与风险防控义务。

法院生效判决认定A公司的行为侵害了李某名誉权，进一步明确了"谁产出谁负责"的侵权归责原则，精准界定了生成式人工智能服务者的法律责任。

本案判决首次明确了"AI幻觉"导致侵权的过错认定标准。"在侵权责任认定上，法院明确了以控制力为核心的过错判断标准。平台利用AI技术对信息内容进行加工、合成、再创作时，必须承担与技术控制力相匹配的合理注意义务。即使存在"AI幻觉"等技术局限，平台在部署面向公众的AI问答功能时，仍应预见到涉及个人隐私、个人信息、个人名誉、犯罪记录等高风险场景，应当建立与现有技术条件相匹配的内容过滤、事实核查及快速纠错的全链条风险控制机制。

与此同时，法院亦综合考虑到，本案发生时AI技术尚处于发展初期，A公司在事后采取了有效的补救措施，而李某亦未提供证据证明其损失等因素，仅判令A公司对李某书面道歉，而并未支持李某关于经济赔偿的诉求，坚持了民事损害的"填平原则"，没有让个案风险过度溢出而抑制、阻滞新兴行业的创新积极性。

"在AI技术发展进程中，既要对技术创新保持适度的宽容，不能苛责生成式人工智能服务者对所有技术问题承担绝对责任，但也应坚决守住保护他人合法权利的底线，使合法权益不受侵害。"承办法官表示。

随着AI技术的快速发展，越来越多新现象、新问题涌现，对平台治理、风险防范提出了更高的要求。对生成内容带来的潜在侵权风险，生成式人工智能服务提供者必须构建覆盖更加科学、完善的治理体系，尤其是对可能侵害自然人人格权益、个人信息权益的内容，设置更高的生成门槛，尽可能避免侵权内容的产生。

此案体现了司法系统对生成式人工智能侵权问题的回应，判决明确"谁能控制内容生成，谁就承担责任"的原则，为未来类似案件提供了清晰的标尺。