企业决策依赖AI的隐患：董事会需防范“意识失能”风险

最近韩国学者崔成浩有一个很有趣的比喻：把人的心智比作电脑。身体是硬件（键盘、鼠标）；大脑是CPU与存储器；意识是操作系统（OS）——负责调度所有资源，决定电脑能做什么；记忆、技能、价值观是应用软件（Word、Photoshop）；而那些脱离当下感官、纯粹来自回忆或想象的念头，就是“观念”（比如闭眼想起三角形，或昨天晚饭的味道）。过去，这个比喻只用于心理学。但在生成式AI爆发之后，它对企业治理的警示意义，远远大于对个人修养的意义。

现在的趋势是：企业正在把原本属于“人脑（CPU）”和“意识（OS）”的决策功能，越来越多地外包给云端AI。这看似提升了效率，实则可能在组织内部制造一个“无意识的黑洞”。

作为常年服务企业的法律顾问，我看到的不是AI有多聪明，而是企业在依赖AI的过程中，正在丢失对自己身体的控制权。

“意识”是精神显现的内在世界，是调动一切资源的底层系统。对企业而言，董事会和管理层的集体判断，就是企业的“操作系统”。这个系统负责定战略、担风险、做取舍。而AI，无论多强大，本质上只是一个“高性能计算器”或“自动脚本”。现实中的危险场景：

场景A：财务决策黑箱

CFO不再亲自研读财报和市场数据，而是直接采信AI生成的“投资建议报告”并签字。此时，企业的财务决策OS实际上已经停滞，变成了AI脚本的自动执行器。

场景B：合规意识淡漠

法务部用AI检索法条，AI因训练数据陈旧漏掉了最新的司法解释。如果法务人员不复核，企业的合规OS就等于“死机”，在监管面前毫无辩解余地。

律师建议：企业必须在规章制度中明确：AI不能替代管理层的决策意识。涉及资金调拨、重大合同签署、合规风险敞口的判定，必须保留“自然人最终签字权”。这不仅是管理要求，更是《公司法》第180条规定的董事勤勉义务的体现。

意识内容分为“感觉”（实时外部输入）和“观念”（内部记忆与想象）。这对企业的无形资产保护至关重要。

企业资产类型

对应心智模型

AI介入风险

合规后果

实时数据（感觉） 如：当日订单、生产线传感器数据

感觉 （外部输入）

AI自动抓取并处理实时数据，若数据源被污染（投毒攻击），AI会输出错误指令。

生产事故、交易错误。 依据《网络安全法》，企业需对数据质量负责。

核心知识（观念） 如：客户名单、定价策略、研发蓝图

观念 （内部记忆）

员工为图方便，将核心“观念”输入公网AI进行优化或总结，导致商业秘密外泄。

竞争优势丧失。 依据《反不正当竞争法》第9条，需承担侵权责任。

律师提示：很多企业的误区在于，只保护了“感觉”（部署防火墙防黑客），却忽视了“观念”的流失（员工随意用微信传密、用AI洗稿）。

必须建立制度：凡是构成企业“观念”（核心商业秘密）的数据，严禁输入未经安全评估的公网AI。这是企业护城河的最后一道防线。

手脚是输入设备（键盘、鼠标），身体是硬件。在企业IT架构中，业务系统（ERP、CRM、MES）就是企业的手脚和躯干。如果企业过度依赖某一特定的AI接口或云服务，而不保留人工接管的能力，就会出现“数字四肢瘫痪”。

典型案例：

某制造企业全面接入AI排产系统，一旦遭遇勒索病毒攻击或API接口故障，由于员工长期依赖AI、丧失了手动排产的能力，整个工厂将被迫停产。这与“意识无法调动硬件”是同一道理。

律师建议：在制定《业务连续性计划（BCP）》时，必须加入“AI系统失效应对预案”。

数据主权：核心业务数据必须本地化备份，不能只存在AI云端。

人工回滚：关键岗位（如交易员、调度员）必须定期进行“无AI辅助”的演练，确保在算法失效时，人类的手脚（业务系统）仍能受大脑（管理层）指挥。

为了防止企业变成一台“有硬件、有软件、但没有操作系统”的僵尸电脑，建议落实以下三点：

确立“人类最终责任”原则

修订《AI治理章程》，明确写入：“任何AI系统的输出，仅在经过授权管理人员的人工复核与签字后，方可作为企业决策的依据。”禁止AI全自动决策涉及重大资产、人身安全及合规事项。

区分“感觉”与“观念”的数据策略

“感觉”数据（公开/非敏感）：可用于AI训练与分析，以提升效率。

“观念”数据（核心秘密）：建立“AI隔离区”，严禁此类数据流出企业内网，严禁输入公网大模型。

保留“纯人工”的应急能力 定期对关键岗位进行“去AI化”压力测试。例如，要求投资经理在不使用AI选股工具的情况下，手动撰写一份分析报告；要求客服人员在系统崩溃时，能使用纸质单据记录客户需求。“意识是精神显现的内在世界。”对于企业而言，这个世界就是企业的独立意志、风险偏好和商业伦理。AI可以提供算力，可以优化流程，甚至可以模拟对话，但它永远无法拥有属于你企业的“观念”和“意识”。不要让企业的OS变成一个单纯的“显示器”，只负责展示AI的结果。保护好董事会和管理层的独立判断能力，这才是企业长治久安的基石。

【附录：企业AI治理风险对照表】

风险维度

比喻

企业表现

法律/合规后果

缓释措施

决策黑箱

OS（意识）停滞

管理层盲目采信AI报告，放弃独立判断

违反《公司法》勤勉义务；重大决策失误赔偿

建立AI输出人工复核签字制度

资产流失

观念（记忆）外泄

员工用AI处理核心商业秘密（如客户名单）

违反《反不正当竞争法》；丧失竞争优势

数据分级分类；核心数据禁止出域内

业务中断

手脚（硬件）失控

过度依赖AI排产/交易，丧失人工接管能力

违反《网络安全法》；生产安全事故

制定BCP；定期进行无AI演练

合规失效

软件（App）错误

AI检索法规遗漏，法务未复核即采用

监管处罚（如市场监管、金融监管）

建立AI生成内容合规审核清单