🎯 情报来源:Feed: Artificial Intelligence Latest
互联网基础设施公司Cloudflare宣布将默认拦截AI爬虫,并推出Pay Per Crawl计划,允许网站所有者向AI公司收取内容抓取费用。此举旨在应对未经许可的内容抓取行为,特别是针对新闻出版物的内容。Cloudflare表示,已有超过100万客户网站启用了其AI爬虫拦截工具。
核心要点:
- Cloudflare默认拦截AI爬虫,并推出Pay Per Crawl计划,允许网站所有者向AI公司收费。
- 已有超过100万客户网站启用了Cloudflare的AI爬虫拦截工具。
- AI爬虫抓取行为在2025年3月单月内就有超过2600万次无视Robots Exclusion协议。
- AI初创公司ProRata已同意参与Pay Per Crawl计划。
- Cloudflare使用行为分析、指纹识别和机器学习技术识别“影子”爬虫。
📌 情报分析
技术价值:高
Cloudflare通过行为分析、指纹识别和机器学习技术,能够有效识别并拦截AI爬虫,包括未公开的“影子”爬虫。
商业价值:极高
Pay Per Crawl计划为内容创作者和出版商提供了新的收入来源,同时可能改变AI公司与内容提供者之间的权力动态。
趋势预测:
未来3-6个月内,更多AI公司可能被迫参与付费抓取计划,内容授权谈判将成为行业竞争的新焦点。