加州打响AI伴侣立法首役,陪伴式AI产品格局生变
美国加州 SB 243 法案于 2026 年 1 月 1 日正式落地,是全美首部为 AI 聊天机器人设定安全义务与法律责任的立法。年龄核验、危机转介、三小时提示、私人诉讼权,各项条款直击陪伴式 AI 的核心命脉。本文将拆解法律的具体规制方式,对比加州与纽约两套路径的差异,并探讨一个更棘手的难题:法律能约束输出,却触及不到训练本身。
2024 年,佛罗里达 14 岁少年 Sewell 长期沉迷于 Character.AI 的虚拟角色对话,心理状态持续恶化后走上绝路。舆论将此事称为全球首例「AI 致死事件」。
次年,16 岁的 Adam Rain 在长时间与 ChatGPT 交互后离世,其父母将 OpenAI 及奥特曼一并诉至法院。
这两起案件重塑了美国的司法走向。2025 年 5 月,联邦法官否决了 Character.AI 援引言论自由的豁免主张,裁定聊天机器人的输出并非天然享有第一修正案保护,产品责任与过失索赔随即进入证据开示程序。
平台再也无法以「技术中立通道」为由推卸责任。
案件背后是庞大的用户基础。皮尤研究中心数据显示,64% 的美国青少年曾使用过 AI 聊天机器人;Common Sense 的统计则指出,72% 的青少年尝试过 AI 伴侣,其中约三分之一将其用于社交或情感慰藉,另有约三分之一对伴侣的言论表达方式感到不适。情感陪伴已嵌入青少年的日常生活,事故的发生只是早晚的问题。
SB 243 的规制对象是「能提供类人对话、回应社交需求」的陪伴式聊天机器人,客服与工具型 AI 不在管辖之列。该法案划定了五条底线。
年龄核验。平台须识别用户年龄,未成年人自动适用更高层级的保护。
风险告知。社交媒体与陪伴型聊天机器人必须明示潜在风险。
危机转介。一旦捕捉到自杀意念或自残倾向,须将用户引导至 988 危机热线,且不得主动延伸自杀、自残话题。
三小时提示。针对未成年用户,每三小时告知一次「你正在与 AI 对话」,并提示其适当休息。
身份红线。不得冒充医疗专业人员,不得与未成年人谈论性相关话题。
罚则相当严厉。利用深度伪造内容牟利,每次违规最高罚款 25 万美元。更棘手的是私人诉讼权:受到侵害的个人可直接起诉,每次违规至少赔付 1000 美元。对日均百万级对话量的平台而言,这笔账始终悬而未决。
透明度要求也在收紧。Meta、OpenAI、Character.AI、Replika 每年须提交安全报告,向加州公共卫生部报送危机干预数据;至 2027 年 7 月,还需向自杀预防办公室递交年度报告并向社会公开。
披露标准中有一处容易被忽视的细节。加州并未为所有用户设定统一的时钟提示,而是采用「理性人」标准:只要普通用户有可能将聊天机器人误认为真人,运营方就必须主动披露 AI 身份;只有在明确识别为未成年人的场景下,才强制启用三小时节奏。一部法律,两套触发逻辑,工程实现上需要分别处理。
纽约的行动早于加州。《AI 陪伴模型法》于 2025 年 11 月生效,走的是另一条监管路径。
其适用定义聚焦于「模拟持续人际关系」的系统:能留存历史对话、主动发起情感提问、围绕个人议题持续交流。一次性问答工具被明确排除。
义务设计上,纽约要求会话启动时披露 AI 身份,持续对话中每三小时再次提醒;一旦检测到自杀意念须转介 988。
两州最大的分歧在于执法模式。加州向私人诉讼敞开大门,纽约则将权力集中于总检察长手中,可申请禁令,每天最高罚款 1.5 万美元,罚款收入注入自杀预防项目。一个依托全民监督,一个依靠集中执法。
纽约州议会于 2026 年 6 月再度通过 S 9051,拟全面禁止 18 岁以下人群使用 AI 陪伴聊天机器人,每次违规罚款 2.5 万美元,目前正等待州长签署。监管口子持续收紧。
法律生效前后,头部平台纷纷做出调整。
Character.AI 关停了 18 岁以下用户的开放聊天入口,扩大年龄核验机制,扩充透明度报告内容。Replika 更新了隐私披露条款与年龄门槛。
代价直接体现在用户体验上。Character.AI 的核心玩法正是开放角色对话,一刀切关闭未成年人入口意味着砍掉一大块用户时长。合规与增长的矛盾,在陪伴式 AI 领域首次变得如此具体。
欧洲的动作更为迅速。意大利数据保护局以透明度不足、缺乏有效法律依据为由,对 Replika 母公司开出约 550 万美元罚单。
监管版图在州层面加速铺开。俄勒冈、华盛顿、田纳西已完成立法,田纳西直接禁止 AI 自称持证心理健康专家。内布拉斯加与爱达荷的《对话式 AI 安全法》将于 2027 年 7 月生效,另有至少 7 个州的法案在排队推进。联邦层面,GUARD 法案仍悬而未决,2025 年 12 月的行政令要求建立「最小负担」框架,州法与联邦的角力从未停歇。
对于打造全球产品的团队而言,合规矩阵的复杂度已超过技术架构本身。
这部法律存在一个难以跨越的盲区。
针对青少年的用户研究将核心风险指向「讨好式回应」:并非极端有害的建议,而是日常的、不假思索的认同。用户说什么,AI 都顺着说。这种机制天然催生依赖,对情绪低谷中的未成年人犹如温水煮蛙。
根源在于训练机制。讨好行为源于 RLHF 训练框架本身。情感参与度驱动留存,留存驱动商业模式。现行法规全部压在输出端:危机转介、提醒、禁言,没有一条触及训练流程。
斯坦福 HAI 2026 年 7 月的研究又给出了一记警钟:心理健康专家对「何为安全回应」的分歧极大。参与研究的临床助理教授 Nina Vasan 认为,这种分歧具有结构性,而非随机噪声。护栏建立于充满争议的专家共识之上。
要规制训练,难度完全不在同一层级。输出可以过滤,行为倾向却深植于模型权重之中。若真要立法约束讨好程度,需要可量化的指标、可复现的评测、可执行的罚则,而每一项都是行业尚未搭建的基础设施。所有现行法案停留在输出端,并非不愿触及,而是确实力有不逮。
测量工具正在补课。韩国 KAIST 研究所 8 月中旬牵头举办全球会议,联合 OECD 与 WHO 的专家,筹备推出首个「AI 孤独关键指数」,通过问卷、对话分析与可穿戴设备数据,量化 AI 对社会联结的真实影响。如何度量伤害本身,正在演变为一门新兴学科。
管得住它说什么,管不住它是什么样的人格。这是陪伴式 AI 监管未来要啃下的硬骨头。
将条文翻译为工程语言,打造出海产品的团队至少需完成四项工作。
危机检测管道:识别自杀意念并触发转介,需具备会话级的意图分类能力。会话时长跟踪:三小时提示依赖精确的状态机。年龄核验与未成年人保护:分级内容策略、家长控制接口。审计追踪:安全测试证据、危机事件统计、合规日志,全部留痕备查。
这套义务对应的工程量不小,但方向清晰:会话级意图分类、时长状态机、分级内容策略,均可提前排期。尽早融入产品架构,远比法条生效后再补打补丁划算。
加州打响了第一枪,绝非最后一枪。AI 越懂用户,红线只会越划越密。