AI攻防战：用户成唯一牺牲品

跨界思辨

——反爬系统背后的利益博弈与开放API之路

6月20日我在文章《战争远未结束，规则已经改变》中提到的小艺Claw被百度采取了反爬策略的事，这两天看了一些专业讨论，发现哪里仅仅是百度，我几乎想通过Agent查任何专业性数据，都被内容提供者设置的专业反爬工具挡在"墙"外——整个网络世界早已经形成了一场网站对抗Agent爬取、Agent对抗反爬工具的反反爬"战争"！

这不难理解——AI直接给答案绕过了广告位，网站和平台在保护自己的收入链条。但这件事让我意识到一个更深的现实：AI Agent已经从概念走向了现实，可当它们真正要"上路"的时候，发现路全封了。

自动订餐的Agent到不了美团，科研助手翻不过知网的墙，比价工具被电商平台一顿暴打。这些日子我自己用Agent就一个感受：获取有效内容越来越难了，等的时间越来越长了，花的token越来越多了，最后我的Agent告诉我它无能为力。

你可能觉得这是Agent开发者的事，跟你没关系。但你想想——你让AI帮你查个东西，它回来跟你说"对不起，我被拦了"，你只好自己打开浏览器、过验证码、登录、复制粘贴。你花钱养了🦞，买了流量和Tokens，但网上的东西，你不配拿。

不过今天不想只聊"网站防Agent"这层——这已经过时了。2026年的现实比这复杂得多，也荒唐得多。

攻方在AI化，守方也在AI化。Agent有了Computer Use，能看屏幕、点按钮、填表单，手已经长出来了；反爬也上了AI，200多个维度监控你的鼠标轨迹，15毫秒内给你打分，怀疑你就弹验证码。两边都在升级，两边都越来越强。

然后呢？用户夹在中间，体验反而更差了。

这才是真正值得看的东西——不是"能不能爬"的技术问题，是一场AI对AI的军备竞赛，而用户是唯一的输家。

Agent这边的进展，说起来挺唬人。

Google刚把Computer Use原生集成进了Gemini 3.5 Flash——AI能直接看屏幕、操作浏览器和桌面软件，不需要专用API，一口气能循环执行70多步操作。Anthropic的Claude更早，2024年10月就推出了Computer Use；OpenAI的Operator也在2025年初上了线。

这意味着什么？Agent的交互界面从API和文本拓展到了GUI——人能用的软件，AI也能用，不需要谁专门给它开个接口。手，长出来了。

验证码这边更夸张。传统字符扭曲验证码，AI视觉识别的破解率已经冲到99%以上。你费劲巴拉设计的那堆歪歪扭扭的字母，在YOLO目标检测模型面前跟明文差不多。

工具链也在进化。webclaw用Rust重写底层，TLS指纹模拟浏览器行为，不启动真浏览器就能绕过大多数反爬，性能快了20倍。BrowserClaw搞了个"快照+引用"模式，把页面可交互元素抽象成带编号的文本快照，AI只需读懂文本然后发一句"点击e1"——视觉识别和元素定位这两个最吃资源的环节，直接剥离了。

听起来是不是觉得Agent已经天下无敌了？

别急，真跑起来的惨状，够写一本血泪史。

通用Agent去爬Amazon畅销榜，Cloudflare五分钟就拦了。常规的反反爬手段——IP代理、UA伪装、基础指纹模拟——对Cloudflare v4.0几乎完全失效，爬取成功率不到1%。

登录后session半路失效，Agent就傻在那。DOM直接喂给LLM，90%是垃圾HTML，token烧得飞起还不出活。多账号并发？没戏——共享Cookie和设备指纹，平台一检测异常行为就批量封号。

最要命的是这个：每换一个新网站，Agent要从零摸索。页面结构不认识，按钮找不到，流程猜不对——容易死循环、偏离意图、草草收手。就像你把一个老司机扔到一个所有路标都是外星文的城市，方向盘在他手里，但他不知道往哪打。

花6天把Agent伪装得跟真人一模一样，爬取成功率可以提升到95%+——但6天啊，每换一个网站就要重来一遍，这谁扛得住？

所以结论是：Agent单点突破能力不弱，验证码能破、指纹能仿、工具链在进化。但系统对抗上，目前还是攻方吃亏。反爬是体系化防御，Agent是单点突破，每过一关还有下一关。

手长出来了，但路还是不熟。

说完攻方，看守方。这才叫真正的体系化。

2026年的反爬，已经不是当年那个靠IP频次加UA黑名单的草台班子了。现在主流平台部署的是"AI驱动的三位一体"：

第一层，TLS/设备指纹层。通过JA4等技术，精确识别请求到底是不是来自真实浏览器。你伪装得再像，TLS握手的时序抖动、HTTP/2帧序列这些底层特征，骗不了人。

第二层，前端行为分析层。监控鼠标轨迹、点击间隔、页面滚动——200多个维度，实时判断你是不是真人。你移动鼠标的加速度曲线、你点击前0.3秒的微抖动，这些人类自己都注意不到的特征，反爬系统全在算。

第三层，动态验证决策层。一旦怀疑你是爬虫，立刻弹出高难度验证码。不是那种歪歪扭扭的字母——是带干扰线图文的滑块拼图、SVG动态验证，极验2026年新推的这套东西，自动化攻击降低比例高达55%。

三层联动，层层递进。你过了第一层，还有第二层；过了第二层，还有第三层。而且第三层的验证码还在持续升级——AI能破传统验证码？那就换行为验证；行为验证也被破？那就上SVG动态验证。猫鼠游戏，永无止境。

但真正让人头皮发麻的是Cloudflare的进化路线。

2021年，它引入Browser Integrity Check，首次在边缘层验证TLS指纹和UA一致性。2023年，发布Adaptive Challenge，根据请求熵值动态选择挑战类型——无感JS执行、Canvas噪声扰动、WebGL指纹校验，三选一或全上。2025年Q4，上线Shield Synapse模块，通过Workers AI调用轻量化Transformer模型，15毫秒内完成设备行为链置信度评分——15毫秒，比眨眼还快。2026年，全面部署深度学习行为分析引擎，模型每日接收数亿条攻击样本再训练，对新型Bot流量具备分钟级响应能力。

从"规则判断"到"AI评分"到"深度学习实时进化"——反爬系统的AI化，比攻方还彻底。

还有一层数据：2023年Cloudflare对自动化爬虫的拦截率是89%，到2026年已经到了99.4%。常规反反爬手段对它几乎完全失效，爬取成功率只剩不到1%。

你再看绕过成本的变迁：2022年以前，Headless Chrome就能模拟，成本中等；2026年，要绕过主流反爬，需要硬件级仿真和微秒级时序控制——这不是写个脚本的事，这是造一台假浏览器。

对了，还有黑产那边。腾讯云已经捕获到AI Agent驱动的真实攻击案例——攻击方能"自适应学习"，被拦了就自动调整策略再试。防守方也在用AI检测AI。

这就是2026年的真实图景：攻守双方都在AI化，而且都在加速。攻方每突破一层，守方就加一层；守方每升级一次，攻方就找新的绕过方式。这不是猫鼠游戏了，这是军备竞赛。

两边都越来越强，那谁越来越弱？

答案不用我说，你也猜到了。

攻方升级，用户没感觉——Agent爬不爬得进去，跟用户有什么关系？守方升级，用户倒是有感觉——验证码越来越难、登录越来越烦、页面越来越慢。但这个"感觉"不是变好，是变差。

你想查个东西，Agent替你跑一趟，被拦了。你只好自己打开浏览器，输入网址，过验证码，登录，找到页面，复制内容，粘贴回来。这跟没有Agent有什么区别？区别是有的——你多花了一道验证码的时间。

更隐蔽的输法是这样的：你让Agent帮你比价三个平台，它只回来了一个——另外两个被反爬拦了。你以为你拿到了最优选择，其实你拿到的是"唯一没拦我的那个"。你输的不是时间，是决策质量。

传统验证码导致30%的用户直接流失。也就是说，每10个人里有3个，看到那堆歪歪扭扭的字母就走了。滑动验证好一些，注册转化率能回升10%到15%——但这是从"烂"到"凑合"的提升，不是从"凑合"到"好"。

更荒唐的是信息鸿沟的固化。大平台有资源部署AI驱动的反爬体系，小平台和公益信息网站连基础防护都买不起。结果是什么？头部的信息被牢牢锁住，公共的信息被爬虫耗光。真正需要信息的研究人员和普通用户，被隔在了墙外。

创新成本也在飙升。2026年，绕过主流反爬需要硬件级仿真和微秒级时序控制——中小开发者根本无力承担。每一个想创新、想提供更好服务的团队，都要先花大量精力去"突破"反爬系统。不是在做产品，是在做对抗。很多好东西，就这么被闷死在了摇篮里。

你花钱买了宽带，但网上的东西，你不配拿。1995年的互联网比2025年的更"互联"——技术进步了三十年，体验倒退了三十年。这大概就是这个十年最荒唐的进化。

攻守双方都在升级，都在变强。但这场军备竞赛的弹药，是用户的耐心、时间和体验。两边都没输，输的只有用户。

那怎么办？

信息壁垒不是"有"或"无"的二元问题，是怎么设计一套规则让所有人都有得玩。

第一，分层开放的API体系。

不是所有数据都该开放，也不是所有数据都该封锁。关键是分清哪些该给谁、按什么条件给。

L1让公共信息回归公共，L2给中小开发者一条活路，L3和L4让平台该赚钱赚钱。谁都有饭吃，谁都不想把桌子掀了。

这不是空想。Dify的API安全体系已经跑了四层权限控制——身份认证、接口权限、数据权限、操作审计，全链路可追踪。智能体安全分级规范也发布了L1到L5五级递进体系。技术框架不是问题，问题是谁来推、怎么落地。

第二，利益分配——三种可以抄的作业。

光有分层还不够，得让数据提供方真金白银地赚到，否则没人愿意开放。

开放银行模式。2015年欧盟《新支付指令》（PSD2）要求银行开放客户数据，经客户许可后，银行向第三方提供API接口。但免费模式出了问题——银行承担绝大部分运行成本，第三方免费拿数据后对外收费，收益倒挂，不公平。2023年欧盟《数据法案》（Data Act）把数据提供方向数据使用方的补偿请求权确立为合法权利——我给你数据，你可以用，但你得给我钱。中国这边，浦发银行2018年推出API Bank，工行、招行、建行陆续跟进，2018年被称为"开放银行元年"。这条路已经走过一遍了，互联网平台完全可以照着走。

Mozilla/Commons Clause模式。开源但不免费商用——个人和研究免费使用，商业使用付费。核心逻辑就四个字：开放≠免费。保护数据提供方商业利益的同时，把创新门槛降到最低。

Cloudflare按次付费爬取模式。2025年7月推出，网站出版商可以选择向AI爬虫收取抓取内容的费用。用市场机制替代技术对抗——你不用费劲巴拉地反爬，我也不用费劲巴拉地绕，你标个价，我付个钱，完事。核心逻辑也是四个字：合规≠封闭。

三种模式，一个比一个务实。开放银行解决了"谁出钱"的问题，Mozilla模式解决了"谁免费用"的问题，Cloudflare模式解决了"怎么定价"的问题。合在一起，利益分配的闭环就通了。

第三，政策法规——四根桩子得打下去。

光靠市场自觉不够，得有制度托底。

桩子一：数据产权归属。"数据二十条"2022年提了一个关键判断——数据产权结构性分置，根据数据