Cloudflare以“数据自主，规则自定”准则驱动AI智能体网络演进

Cloudflare正依托“数据自主，规则自定（Your Content, Your Rules）”的核心准则，助推自主智能体网络的蓬勃发展。伴随AI代理与爬虫流量的迅猛增长，站点所有者捍卫自身数据免遭未授权挪用的需求愈发急切，而Cloudflare所推行的工具恰好旨在夺回这种主导权。

Cloudflare创设的内容信号策略是赋予站点管理者掌控权的关键动作之一。该策略在传统robots.txt协议之上做了拓展，新增三大内容用途标签：search（供搜索索引构建）、ai-input（供AI模型输入）、ai-train（供AI模型训练或微调）。站点运营者只需采用简明指令，像Content-Signal： search=yes， ai-train=no，便能清晰界定访客对内容的使用边界。举例而言，此策略能让网站放行搜索引擎抓取，却阻却其沦为AI训练语料，从而为内容产出者赋予了空前细致的掌控力。

针对那些无视规则的AI爬虫，Cloudflare亦构筑了技术反制手段。其AI Labyrinth功能借助蜜罐机制，靠生成由AI炮制的无尽伪造网页迷宫，来榨干恶意爬虫的算力与带宽，令其深陷无效信息的死循环。另外，Cloudflare还推出了封禁已知AI爬虫的一键托管规则，囊括ClaudeBot、GPTBot、Google-CloudVertexBot等主流AI代理。

Cloudflare“数据自主，规则自定”的打法不仅限于供给防御性手段，更着眼于搭建一个公平的买卖市场。其Pay Per Crawl平台意欲为内容产出方与AI企业打造一个撮合交易的空间，试图确立一种多方获益的全新范式。Cloudflare预估，至2029年末，网络中的机器人流量将超越人类流量，而该企业的这番布局正是为了在那个新纪元确立全新的行路准则，捍卫站点所有者的正当权益。

责任编辑：张俊 SF065

新浪财经声明：此消息系转载自合作媒体，新浪财经登载此文出于传递更多信息之目的，文章内容仅供参考，不构成投资建议。

郑重声明：1.根据《证券法》规定，禁止编造、传播虚假信息或者误导性信息，扰乱证券市场；2.用户在本社区发表的所有资料、言论等仅代表个人观点，与本网站立场无关，不对您构成任何投资建议。用户应基于自己的独立判断，自行决定证券投资并承担相应风险。