AI误导能否追责？国内首例AI幻觉侵权案划定法律边界

•注册使用：梁某注册并使用了某科技公司开发的一款通用型生成式人工智能应用。

•2025年6月29日：梁某（为弟弟查询高考志愿）在应用中输入提示词，询问某高校报考信息。AI却生成了关于该高校某校区的虚假信息——而这个校区，实际上根本不存在。这是AI领域典型的"幻觉"（Hallucination）现象：大模型"一本正经地胡说八道"。

•AI的"倔强"：梁某指出错误后，AI不仅没认错，反而坚称校区存在，并主动抛出"赔偿10万元"的承诺，还"贴心"地建议梁某去杭州互联网法院起诉索赔。

•直到梁某贴出高校官网招生信息，AI才承认自己生成了不准确内容。

•法庭交锋：梁某将开发公司告上法庭，索赔9999元，理由是"AI自己承诺赔10万，我只要9999，不过分吧"。被告则答辩：对话由AI模型生成，不构成意思表示；公司已尽注意义务、无过错；原告无实际损失，不构成侵权。

•判决：杭州互联网法院驳回梁某全部诉讼请求。双方均未上诉，判决已生效。

这是本案最容易被误解的一点。很多人直觉上觉得："是你们的AI说的，你们就得认。"

法院的态度非常明确：人工智能不具有民事主体资格，不能作出意思表示。

我国《民法典》第2条规定，民法调整的是平等主体的自然人、法人和非法人组织之间的人身与财产关系。AI既不是自然人，也不是法人或非法人组织，没有任何民事权利能力和行为能力——它连签合同的资格都没有。

本案中，AI那句"赔偿10万元"不能视为开发公司的意思表示，法院给出四点理由：

1.人工智能不是民事主体，不能作为意思表示的传达人、代理人或代表人；

2.被告并没有通过AI这一工具来设定或传达自己的赔偿意思；

3.一般的社会观念、交易习惯，都不足以让原告对这句随机生成的话产生"合理信赖"；

4.没有任何证据表明，被告曾对外表示"愿意受AI生成内容约束"。

一句话总结：这张10万元"支票"，本质是一串毫无约束力的乱码。

退一步讲，就算要追责，按什么规则追？

梁某一方暗含的思路，可能是想按产品责任来主张——产品有缺陷致人损害，生产者承担无过错责任（不管你有没有错，先赔了再说）。如果按这个逻辑，AI公司几乎必输。

但法院认为：生成式AI服务依据《生成式人工智能服务管理暂行办法》属于"服务"范畴，而不是《产品质量法》意义上的"产品"。因此本案应适用《民法典》第1165条第1款的一般过错责任原则，而非产品责任的无过错责任。

法院给出四点考量：

•该服务缺乏具体、特定的用途与合理可行的质检标准；

•其生成的信息内容本身通常不具备侵权法意义上的"高度危险性"；

•服务提供者对海量生成内容缺乏足够的预见和控制能力；

•从政策导向看，适用无过错责任会不当加重企业负担，限制AI产业发展。

不适用无过错责任，不代表平台可以"躺平"。法院采用动态系统论，为生成式AI服务提供者划出了三层注意义务——这也是本案最值得企业研读的部分：

第一层｜红线义务（结果性义务）

对法律明令禁止的"有毒"、有害、违法信息，平台负有严格审查义务。这类内容一旦露出，平台直接被认定有过错。

第二层｜避坑义务（显著提示）

必须以显著方式提示用户：AI生成内容可能不准确。具体要求包括：明确的"功能局限"告知、保证提示方式的"显著性"（欢迎页、用户协议、对话框都要有），以及在涉及重大利益的特定场景（如升学、医疗、投资）下进行正面、即时的警示提醒，防范用户产生不当信赖。

第三层｜及格线义务（技术可靠性）

应采取同行业通行技术措施提高生成内容的准确性，比如当下流行的检索增强生成（RAG）技术——让AI"先查资料再说话"。明明有能减少"幻觉"的技术却不采用，就是过错。

回到本案：被告已在欢迎页、用户协议、交互界面的显著位置提示了功能局限，且采用了RAG等技术提升可靠性。法院据此认定——被告已尽到合理注意义务，主观上不存在过错。

即便抛开过错，原告的诉讼请求也站不住脚，核心在两点：

其一，主张的权益类型。梁某主张的是"因信息误导错失报考机会、额外产生核实/维权成本"，这属于纯粹经济利益受损，而非人格权、物权等法定绝对权。对纯粹经济损失，不能仅依据"权益受侵害"就认定行为不法，而必须审查被告是否违反了上述注意义务。

其二，损害与因果关系举证不能。原告未能提供任何有效证据证明自己遭受了实际损害；按"相当因果关系"标准，案涉AI的不准确信息也并未实质性地介入或影响他的报考决策。损害不存在、因果不成立，侵权自然无从谈起。

律所简介