AI真正的威胁并非对话能力

先来明确一个认知。过去两年你所了解的AI是什么模样？你点开一个聊天窗口，输入问题，AI给出一段文字回复。这个流程无论多么震撼——本质上仍是「你问我答」。你提问，它回答。你不开口，它便沉默不语。你才是那个负责「启动」与「决策」的主体。然而现状已经不同。2026年，全球最顶尖的AI研发机构都在攻关一个新方向——名为「AI智能体」。你可以将其设想为一位端坐在电脑前的隐形助理。你无需逐项指示「先启动浏览器，输入这个网址，定位到这个按钮，连续点击三次，复制这段内容，粘贴到另一个窗口」。你只需告知一件事：「请把上个月的营收数据汇总成表格，发送至财务部门的邮箱。」随后它会自动执行：开启你的销售平台→登录→检索上个月的数据→导出→打开电子表格→排版→启动邮箱→撰写邮件→附上表格→发送。整个过程无需你触碰一次键盘。

这并非科幻场景。2026年上半年，多家企业已发布具备「计算机操控」能力的AI——它们确实能够像人类那样观察屏幕、移动鼠标、点击按钮、输入文字。它们接收的是一张屏幕截图，随即判断「当前页面上有哪些可用按钮、我应当点击何处」。它们的操作精度已抵达像素层级——清楚「登录」按钮位于屏幕坐标（840, 460），了解输入框需要填写何种内容，知道填写完毕后应当按下哪个键予以确认。而且它们执行这些动作的速率远超人类——无需移动鼠标的物理延迟，无需眯眼搜寻按钮位置，无需输完一行发现错误再删除重输。它们在短短一秒内即可完成整页面的操作。

你或许会想：「打开网页填写表格——这有什么难度？我从小就会。」恰恰相反。你从小掌握的事情，AI直至今日才刚刚开始习得。你使用电脑时——你所见的并非一个屏幕，而是一个充斥无数「可交互对象」的世界。你无需他人告知「这个浅灰矩形是按钮」「这个带下划线的元素可以点击」「此处能够输入文字」。你凭借经验——凭借你过去二十年操作电脑形成的肌肉记忆——一眼便能识别。然而AI并不具备这类记忆。它所见的屏幕截图对它而言仅仅是像素的堆叠。它首先需要执行一项名为「屏幕解析」的任务——将一张图像中的数十个像素区块逐一甄别：「这是按钮吗？」「此输入框的标注是什么？」「此弹窗属于错误提示还是正常流程？」随后它还需完成第二项任务称为「任务规划」——「我当前要达成A目标，所在页面处于B状态，我应当先执行什么、再执行什么？」这并非一个「回答某个问题」的过程——而是一个「在动态环境中进行连续决策」的过程。每一个步骤都可能失误，每一步的结果都会左右下一步的选择。

给你一个具象的示例。假设你让AI「帮我在某网站上购买一件商品」。AI访问网站。第一步需搜索商品——它定位到搜索框，输入了商品名称。第二步，搜索结果呈现——包含三十条记录，价格由低至高排列，部分为广告，部分显示缺货。AI需要判断「哪一条才是我所需的？」第三步，进入详情页——发现该商品有四种颜色、三种规格可选。AI需要判断「我应当选取哪种颜色与规格？」第四步，加入购物车——此时弹出优惠券提示框。AI需要判断「这是真实优惠还是广告陷阱？应当关闭还是领取？」第五步，结算——需要填写收货地址。你的地址簿内保存了三个地址，如何抉择？第六步，付款——需要输入密码或跳转至支付平台。AI能否胜任？每一个环节都是潜在的失败节点。而它失误的表现会让你哭笑不得——例如它将「立即购买」与「加入购物车」混淆，或它误点了页面中的广告横幅以为已完成任务，又或者它陷入无限弹窗的死循环中反复操作了十七遍。

2026年的AI智能体与一年前的版本相比，进步堪称跨越式的飞跃。一年前的AI智能体完成一项五步任务的成功率仅约30%——意味着三次尝试中有两次它会中途停滞。而今顶尖智能体的成功率已突破80%。其驱动力并非「让AI更加聪慧」——而是对AI与计算机交互方式进行了彻底重构。最核心的突破在于一项名为「计算机使用」的能力——并非让AI模拟真人操控鼠标与键盘，而是赋予AI一份结构化的「屏幕地图」：一张将页面上所有交互元素均标注了坐标与功能的数字化蓝图。AI无需「盯着屏幕猜测哪个是按钮」——它直接获取了一份地图：「登录按钮，坐标(840,460)，类型button」「用户名输入框，坐标(620,380)，类型text input」「密码输入框，坐标(620,420)，类型password」。随后它需要做的决策便简化为「前往(620,380)输入用户名→前往(620,420)输入密码→前往(840,460)执行点击」。

这听上去仿佛是取巧——然而事实上这才是合理的交互方式。人类之所以需要用眼睛观察屏幕再用手指点选——根源在于我们缺乏数字化的接入通道。但AI本身便是数字化的存在——为它提供一份结构化的屏幕描述，远胜于让它如人类般「看图猜按钮」，效率提升百倍不止。2026年这一技术路径正在走出实验室，迈向商业化产品。Google、Anthropic、OpenAI均将「计算机使用」能力整合进各自的AI产品线中。无需多久，你便会目睹这样的场景：你的电脑后台运行着一个AI——它在你不察觉的进程中处理你的报销单、回复你的常规邮件、整理你的文件、预定你的会议室。你在前台专注撰写方案——AI在后台承担你无暇顾及的一切琐事。

啪——老师俯身捡起掉落的笔，将其放置在键盘旁侧。

「今天的任务相当简单：将你今天的工作内容梳理成一份清单。随后划一道横线——横线之上是你需要动脑筋、需要发挥创造力的事务。横线之下是无需思考但必须完成的重复性劳作。接着将横线以下的内容圈出来。每圈一项，在心中默念一遍：这件事两年之内会有AI代我完成。那些被圈出的事务——并非你作为人的价值所在。你的价值存在于横线之上。将时间从横线以下转移到横线以上——这才是AI时代唯一正确的生存之道。」

—— 丢笔哥

👇 原文链接：https://diubige.com/articles/ai/ai-agents-computer-use-autonomy.html