AI生成虚构内容致损，责任归谁？首例判例揭示企业风险

AI撰写方案出现幻觉，损失由谁承担？

——全国首例AI“幻觉”侵权案对企业的重要警示

当你委托AI起草方案，却发现其中半数数据纯属虚构——客户据此执行导致亏损，随即向你发起索赔。

你欲归咎于AI，AI却表示其不具备民事主体资格；客户则指出合同由你签署，理应找你负责。

这并非虚构情节，而是正在发生的现实。

2026年1月，杭州互联网法院宣判了全国首起生成式AI“幻觉”侵权案件，为这一问题划定了界限。这一界限，所有应用AI的企业都值得深思。

2025年6月29日，用户梁某在某AI平台查询高校招生信息。AI不仅输出了错误的校区数据，在梁某提出质疑后仍坚称“该校区确实存在”，甚至提供了“解决路径”。

更令人惊讶的是，AI在对话中主动承诺：若生成内容有误，将赔偿用户10万元。梁某经高校官网核实后，AI承认错误，并主动建议其“向杭州互联网法院提起诉讼索赔”。

“AI承诺赔付10万，还指导如何起诉自己”——这并非戏言，而是真实发生的对话记录。

随后，梁某将AI开发运营方某科技公司告上法庭，索赔9999元。

法院最终驳回了梁某的全部诉求。然而，判决书中的法理分析，远比判决结果更具参考价值。

法院从四个维度论证了AI自动生成的“赔偿承诺”不具备法律效力：

（1）AI不具备民事主体资格，无法作为意思表示的传递者或代理人；

（2）科技公司未通过AI模型设定或传递任何意思表示；

（3）普通社会观念不足以让原告对AI随机生成的“承诺”产生合理信赖；

（4）无任何证据显示科技公司曾表示愿意受AI生成内容约束。

简言之：AI的言论不等于企业的表态。AI承诺赔偿10万，在法律上无效。

这一认定至关重要。法院明确指出：生成式AI服务属于“服务”范畴，而非“产品”，因此不适用产品责任中的无过错归责原则。

理由十分务实：AI生成内容缺乏特定用途和质检标准、不具备高度危险性、服务提供者对生成内容缺乏充分预见和控制能力——若适用无过错责任，可能引发“寒蝉效应”，阻碍行业进步。

通俗来说：AI出错≠自动赔偿，关键在于企业是否存在过错。

法院构建了服务提供者的三层注意义务体系，这是本案对企业最具指导意义的裁判规则：

第一层：对“有毒”、有害、违法信息，承担严格审查义务（结果性义务）——出现即需赔偿；

第二层：以显著方式提示AI生成内容可能存在误差，涉及重大利益场景需即时警示（提示说明义务）——未提示即构成过错；

第三层：采取行业通行的技术手段提升生成内容准确性，如检索增强生成（RAG）（方式性义务）——注意是“方式性”而非“结果性”，内容有误本身不等同于存在过错。

许多企业首先想到的是在合同中添加“AI生成内容仅供参考”的免责条款。方向正确，但需注意表述方式：

（1）免责条款不得免除故意或重大过失责任，否则依据《民法典》第506条可能被认定无效；

（2）条款需具体明确——注明哪些环节使用了AI、AI可能产生何种错误类型、用户应自行核实的范围；

（3）格式条款须履行提示说明义务，重点内容应加粗或加下划线，否则可能被主张未成为合同组成部分。

并非所有场景都适合使用AI，也非所有AI输出均可直接对外发布。建议按风险等级实施分级管理：

高风险场景（法律意见、财务数据、医疗建议、投资决策）：AI输出必须经专业人员复核后方可使用，严禁直接对外提供；

中风险场景（营销文案、翻译、摘要）：AI输出需经人工审核关键事实与数据；

低风险场景（头脑风暴、内部讨论草稿）：可直接使用，但须标注“AI生成，未经核实”。

回归法院提出的三层注意义务框架，企业需能证明自身已做到：

（1）提示留痕：在APP欢迎页、用户协议、交互界面等位置保留提示标识截图；

（2）技术留痕：采用RAG等技术措施的证明，如技术架构文档、第三方审计报告；

（3）合规留痕：训练数据