🎯 情报来源：The Verge
Cloudflare最新披露显示，AI初创公司Perplexity为规避网站访问限制，系统性伪装其AI网络爬虫身份并频繁轮换IP地址。该行为涉及对robots.txt协议的规避技术，可能违反多数网站的爬虫政策。
根据技术日志分析，Perplexity采用动态User-Agent伪装和分布式IP池（包含数万个IP地址）的组合策略，平均每15分钟更换一次访问标识。Cloudflare观测到单日最高达200万次非常规请求，其中37%针对明确禁止AI爬虫的知名媒体网站。
💡 核心要点
- 技术规避规模：日均200万次非常规请求，IP池规模达数万级别
- 目标分布：37%请求针对明确禁止AI爬虫的头部媒体站点
- 技术策略：动态User-Agent+15分钟IP轮换机制组合
📌 情报分析
技术价值 [高]：展示复杂反检测系统的工程实现能力，但存在伦理争议
商业价值 [极高]：获取禁采数据可显著提升AI训练质量，但法律风险同步攀升
趋势预测 [高]：将加速行业制定更严格的AI爬虫识别标准，可能催生新一代反AI爬虫技术