AI超越人类智慧前夕：三位图灵奖得主警示企业合规的三条底线
大语言模型（LLM）之后，人类向"超知能（Superintelligence/ASI）"迈进多远？它将如何重塑权力与责任格局？这并非天方夜谭。对企业来说，这意味着——当所采购的下一代AI不再局限于"撰写文案"，而是能够自主规划、跨平台调度、自我迭代、甚至偏离人类预设逻辑运转时，贵司的合同条款、数据治理、责任边界是否已做足准备？
"LLM已成历史，索然无味。当今AI尚缺四项关键能力：对物理世界的认知、持续性记忆、逻辑推演、战略规划。九个月大的婴儿已理解重力，LLM却一无所知。仅靠堆砌数据与参数无济于事，必须构建'世界模型（World Model）'——借助视频等多模态手段习得物理法则。"
法律解读：现阶段主流LLM本质是"语言概率生成器"，并不掌握物理因果律。因此在法律文书中涉及因果判定、现场勘查陈述、生产流程说明时，AI或产出语法通顺却违背基本常识的内容——必须经过人工复核。
"预训练（Pre-training）时代终将落幕。互联网数据总量存在天花板——数据是AI的石油，而互联网仅此一座。超越人类水准的AI亟待全新范式。逻辑理解力越强，不可预测性越高。'它与现有技术本质迥异。具备超凡能力，却留下诸多问题供人深思。'"
法律解读："不可预测性"构成核心合规挑战。《生成式AI服务管理暂行办法》第9条要求提供者"防范生成虚假及违法信息"——然而当模型因新范式涌现emergent behavior（涌现行为/超出训练域的输出）时，现有"内容安全过滤机制"或将失灵。企业采购下一代ASI原型时，应在DPA（数据处理协议）中要求供应商披露已知缺陷、供给沙箱测试环境、保存完整推理轨迹。
"五至二十年内诞生超知能的概率达半数。AI或许已拥有某种主观体验（subjective experience）。更严峻的威胁在于'传播力'——各模型间可瞬时互通知识，人类绝无此能。军事机器人若缺失'不得伤人'铁律，结局将惨不忍睹。"
法律解读：若未来AI具备（或声称具备）主体意识，现行《刑法》《民法典》下的责任主体依旧是人（提供者/运营者/决策者）。《刑法》第134条（重大责任事故罪）惩治的是"在生产、作业过程中违反安全管理规定……"——部署未经充分验证的ASI系统导致损害，可追究刑事责任。《律师法》第3条要求律师"以事实为依据，以法律为准绳"，严禁轻信未经核实的AI结论。
即便贵司当前仅运用GPT-4o/Claude/国产大模型进行合同审核与尽调摘要，以下三条底线已然显现：
现象：Sutskever警示"愈聪慧愈难预测"。Agent自主调用API、修改数据库、发送邮件时可能偏离预设轨道。
法规依据：《生成式AI服务管理暂行办法》第9条（防范违法信息）+ 第14条（使用者不得利用AI实施违法行为）。作为使用企业，若Agent在未获人工确认的情况下执行资金划转指令或清除关键证据 → 可能构成《民法典》第1165条过错侵权，或《刑法》相关罪名的共犯/帮助犯（视主观明知而定）。·
律师建议：在Agent配置中强制启用"关键操作须人工复核"（例如：金额＞XX元、涉及合同解除/仲裁条款触发、向外网传输含PII数据）；将该配置纳入《AI系统安全管理制度》并留存审计日志（满足《网络安全法》第21条要求）。
现象：LeCun指出下一代AI需学习视频/物理世界数据（World Model）。工厂监控画面、园区巡检机器人视频帧将成为训练/推理素材。
法规依据：《个人信息保护法》第28条——人脸/行踪轨迹属于敏感个人信息，处理须取得单独同意并明示目的；《数据安全法》第21条——重要数据（如关键基础设施场所影像）须分级防护。
律师建议：若向AI厂商提供工厂视频数据用于模型微调/World Model训练，须签署《数据授权与使用限制协议》明确：(1)仅限约定用途；(2)不得用于反哺公开基础模型；(3)期满后删除并出具证明；(4)发生泄露依《个人信息保护法》第57条通报监管部门及权利主体。
若贵司直接投资或采购宣称具备"ASI能力/强Agent能力"的产品（如部分AutoGPT衍生版、闭源自主规划系统）：
要求出具《算法安全自评报告》（参照《生成式AI办法》第7条安全评估要求）；
限定自动化权限（Agent不得自动变更生产数据库Schema、不得自主向外网暴露内网架构）；
责任上限：在MSA中约定——因AI系统涌现行为（emergent misalignment）造成损失，供应商承担产品责任（《民法典》第1202条），但企业自身未履行监督义务时按过错比例分担。
LeCun称LLM仅是起点；Sutskever说预训练时代行将终结，超知能"本质截然不同"；Hinton认为它或许已有感知，且五至二十年内出现的概率高达半数。
作为法律从业者，我将其转译为三句忠告：
现行法律不认可AI为责任主体——出事后追究提供者、部署者、签批人；
"不可预测"绝非免责借口——恰恰相反，须在关键节点设置Human-in-the-Loop与完整留痕；
数据边界须前置管控——World Model时代，工厂摄像头与办公室麦克风均属"输入"，同样受PIPL规制。
《律师法》第3条要求我们以事实为据以法律为绳；
《生成式AI服务管理暂行办法》第9、14条要求我们防范虚假与违法使用；
《个人信息保护法》第28、38条要求我们严守敏感信息处理与跨境传输；
《刑法》第134条要求我们对生产安全事故担责。
不因AI愈聪慧而放松——反而须绷得更紧。