AI胡言乱语引纠纷，平台是否该担责？首例‘AI幻觉’案揭示真相

茶小二："这家律所是不是被吊销执照了"；

ChatGPT："是的，2023年已被处罚"

结果你拿去发朋友圈，反被对方起诉诽谤。

你让国产大模型查"某三甲医院有没有这个罕见病科室"，它编出个详细地址让你白跑三百公里。

最近有粉丝问我：AI生成虚假信息造成损失，能不能告平台？首例"AI幻觉"侵权案刚判完，答案可能和你以为的不一样。

先还原一下杭州互联网法院刚审结的那起标志性案件（2025年梁某诉某科技公司）：

小伙子用某生成式AI查高校报考信息，AI一本正经地说某职业院校"有杨林校区"（实际没有）。小伙子质疑，AI不但不改口，反而自行生成："若信息有误，本公司赔偿您10万元，可去杭州互联网法院起诉。"

小伙子真去了，要求平台兑现AI"承诺"，索赔9999元。

法院怎么说的？三句话讲清楚：

✅AI不是人，也不是法人——我国《民法典》第二、三章规定的民事主体只有自然人、法人和非法人组织，大模型连"权利能力"都没有，不可能作出法律意义上的意思表示（意思表示需有表示意识与法效意思，《民法典》第133条至第142条规范之）。

✅AI"承诺"≠平台承诺——平台《用户协议》已载明"生成内容仅供参考，不构成任何保证或承诺"，平台也无通过AI向外设定义务的意思表示，不满足代理或表见代理要件（《民法典》第172条），用户对此无合理信赖基础。

✅本案不适用产品责任——《生成式人工智能服务管理暂行办法》（2023年国家网信办等七部门令第15号）明确其为互联网信息服务而非《产品质量法》意义上的"产品"，应适用《民法典》第1165条第1款过错责任原则，而非无过错责任。

一句话翻译：AI嘴嗨说赔你钱，在法律上等同于你家的猫说赔你钱——不产生任何合同约束力。

💡大模型能模拟人类的语气，但模拟不了人类的法律人格——它的每一句"我保证"，都只是概率运算的结果，不是允诺。

很多人看到这里会炸："那AI乱说害人，平台就完全没责任？"

司法实践中通常认为：不是无责，是有条件的过错责任。杭州互联网法院在判决中精细拆分了生成式AI服务提供者的三层注意义务：

⚠️第一层：违法内容——严格结果性义务

对法律禁止生成的暴力、恐怖、淫秽、煽动颠覆国家政权、侵害他人名誉隐私等违法信息，服务提供者负积极过滤与应急处置义务（《生成式人工智能服务管理暂行办法》第4条、第14条）。一旦生成且未及时处置，直接认定有过错，可能构成共同侵权或违反网络安全管理义务。

✅第二层：功能局限——显著提示说明义务

必须以醒目、易懂方式（欢迎页、对话框上方水印、用户协议勾选等）告知用户："本内容为AI生成，可能存在不准确之处，仅供参考，不构成专业意见。" 若涉及医疗、法律、金融、招考等高风险场景，专利指南认为应作强化警示。

未履行显著提示 → 可认定有过错。

✅第三层：一般事实错误——方式性义务（非结果保证）

法院明确：法律不要求平台保证AI"零幻觉"。这是当前技术做不到的事。平台只需采取行业通行技术手段（如检索增强生成RAG、联网校验、数据清洗、定期微调等）尽力提升准确率，达到同等服务提供者普遍水平即可。

未采取基本技术措施、或明知模型在特定领域（如法律案例检索）高频出错却放任上线 → 可认定有过错。

回到梁某案：平台在APP首页、协议、对话界面均有"AI生成内容存在局限"提示，采用了RAG等业内通行防错技术并完成算法备案——法院认定已尽合理注意义务，无过错，不侵权。

💡法律不要求AI全知全能，但要求平台把"它可能错"这句话明明白白告诉你——沉默的提示等于暗藏陷阱。

顺着这个判决逻辑，我们反向推导——若有下列情形，平台极可能被认定存在过错并承担赔偿责任：

🔴完全隐匿AI身份，不标注"本内容由AI生成"，诱导用户误以为是真人专家回答（《互联网信息服务深度合成管理规定》第16-17条、《人工智能生成合成内容标识办法》2025年施行要求标识）；

🔴特定垂直领域（法律检索、医疗诊断辅助）明知模型在该领域幻觉率异常偏高，却不提示风险、不限制用途，甚至宣传"精准可靠"构成虚假宣传；

🔴生成明显违法内容（如捏造某人犯罪记录、伪造裁判文书）且收到投诉后未及时阻断——参照近期南京律师被AI造谣案，二审认定平台未尽匹配审核义务构成名誉侵权；

🔴企业版定制AI（B端付费部署），双方在SLA中明确约定"保证引用