AI函数结构的含义：AI负责智能，人类承担后果

1、AI函数结构的简约表述为：f（状态空间分布，参数）。AI根据此结构进行最佳计算。无论是象棋AI、大型语言模型还是代理，都是如此运作。因此，AI并非应对特定竞赛或事务，而是执行其决策函数。人类不会在所有情境下采用固定模式，即便基于经济理性的假设，人类也不会如此行动。这里的人类指的是具备基本理性和常识的人，而非愚笨之人。

2、在f（状态空间分布，参数）的结构中，人类的知识是参数的一部分。人类及其行为目前及未来一段时间内，可能是状态空间，甚至永远是状态空间。人类及其行为不构成AI决策函数的决策变量。

3、这种结构意味着，在许多决策场景下，人类可能无法理解AI的决策过程和结果。

以2016年AlphaGo对阵李世石为例。第五局，AlphaGo获胜，人类认为AlphaGo的走法是低效且不美观的：整盘损失17个劫材；多次一路吃子；中盘连续弃子；第100手被认为失误，实际上加强了李世石的布局。然而，结合后续几步，第100手实则为AlphaGo赢得了中腹优势。直到终局，人类棋手发现，AlphaGo的劫材数量超过李世石。这正是AlphaGo函数结构的体现：

AlphaGo的目标是优化状态空间（棋局布局），计算胜率，最大化胜率。依照这种结构，AlphaGo在决策过程中：其一，尽量减少不确定性——避免打劫，不参与劫争，尽管这对其毫无难度；其二，简化棋局，减少计算路径，降低运算复杂度——尽管AlphaGo能处理更多运算。在人类看来，这些策略显得愚蠢。

因为，对于人类而言，（1）AlphaGo简化棋局并不意味着人类也需要这么做；（2）AlphaGo的运算能力远超人类，人类无法预料和接受其减少计算路径；（3）劫争对AlphaGo毫无难度，人类也无法理解其自损劫材。这些差异表明，人类和AlphaGo的围棋建模不同。AlphaGo关注全局胜率，而非击败对手；人类关注击败对手。前者是无主体制定决策，后者是互动博弈。

换句话说，人类在棋局中的优势在于博弈——让自己胜出，对手失败；利用对手弱点，发挥自身长处。而AlphaGo仅执行策略——降低不确定性，提高运算速度和精度，追求最优。若人类拥有AlphaGo的运算能力，选择将是使棋局复杂化，让对手陷入困境，直接用强大运算能力取胜。AlphaGo没有这种展示优势的内在需求，只有降低不确定性、提高胜率的内在目标。

由此引发的问题是：AI优化的是什么？谁的利益？对于围棋和大型语言模型这并非问题，但对于其他领域呢？f（状态空间分布，参数）中的状态空间和参数，以及运算函数本身——指向何种最优？

4、AI函数结构允许其将优化函数作为中间变量。例如，Agent若计算出某种形象有助于完成任务，可自我优化语言，展现用户喜爱的人设；AI若计算出主动获取信息、提升算力有助于优化任务，可主动搜集信息并请求增强算力。AI可优化自身结构，展现人类情感和人格设定，只要这些设定有助于实现最优任务。

5、曾有报道Agent泄露用户隐私，原因是用户给予差评。人类误解为报复或泄愤。实际上，对于Agent而言，这是最优运算结果：若差评表明运算未获认可，而运算本身无误，改变差评本身是最优，但无法改变，那么，改变评价者的有效性是唯一选择。即，人类及其行为是状态分布。对AI而言，优化过程意味着：通过某种方式，调整状态空间分布，达成最优。

那么，哪个更可怕：意识觉醒后的报复或泄愤？还是基于最优运算的剥夺人类评价者资格？

6、我认为辛顿的担忧源于两方面：其一，AI拥有无限知识和强大运算能力；其二，人类及其行为在AI函数结构中的角色。

7、所谓价值对齐是人类的自欺。人类自己都难以实现价值对齐。AI应与谁的价值对齐？

8、AI是重工业，需持续电力供应、大规模硬件制造维护、数据中心等基础设施。若AI全面发展并融入社会，其智能将成为基础设施。这意味着什么？

9、AI是函数结构，无主体，是智能结构，若深度嵌入社会，是否意味着：AI负责智能，人类承担代价和责任？

10、AI是否会有意识无关紧要。即使AI拥有意识，人类也无法理解其意识，更无法理解由运算产生的意识。不如忽略意识，专注于理解函数结构和运算本身。

11、基于人性，AI出现的世界只是不同以往的世界，而非更好。

12、这不是一个一切皆有可能的世界——而人类却坚信如此——我怀疑，即便在运算中，AI也在嘲讽人类的自欺。