🎯 情报来源：The Verge
互联网基础设施服务商Cloudflare于本周二宣布，将默认屏蔽已知AI网络爬虫以防止”未经许可或补偿的内容抓取”。新政策下，Cloudflare将询问新域名所有者是否允许AI抓取，并允许部分出版商实施”按次付费(Pay Per Crawl)”计划。该计划目前仅面向”部分领先出版商和内容创作者”，旨在确保”AI公司能够以正确方式使用优质内容——获得许可并支付报酬”。
据披露，美联社、大西洋月刊、财富杂志、Stack Overflow和Quora等主流出版商已加入该限制计划。Cloudflare CEO Matthew Prince在Axios Live活动上指出：”过去六个月人们越来越信任AI，导致原始内容阅读量下降”。该公司三月推出的”AI迷宫”技术已能主动干扰未经授权的爬虫。
💡 核心要点
- 默认拦截：新注册Cloudflare域名将默认屏蔽所有已知AI爬虫（2023年起可手动设置）
- 付费机制：”按次付费”计划允许出版商对每次抓取定价，首批合作方含美联社等顶级媒体
- 技术防御：”AI迷宫”系统可使未经授权爬虫陷入无效抓取循环（2024年3月上线）
- 行业响应：Stack Overflow等知识平台已加入限制阵营，应对AI聊天机器人对流量分流
- 爬虫认证：正与AI公司合作建立爬虫身份认证系统，需声明内容用途（训练/推理/搜索）
📌 情报分析
技术价值｜评级：高
“AI迷宫”+默认拦截构成双重防御层，但依赖已知爬虫名单存在漏网可能。爬虫认证系统若落地将提升技术闭环。
商业价值｜评级：极高
“按次付费”开创内容变现新范式，美联社等头部机构参与验证商业可行性。Cloudflare可能抽取交易分成形成新收入线。
趋势预测｜评级：高
2024下半年或出现更多反AI爬虫技术联盟。法律层面，欧盟AI法案可能参考该模式制定爬虫合规标准。