Cloudflare发布报告称，人工智能搜索初创公司 Perplexity涉嫌规避旨在阻止其网络爬虫访问某些网站的限制。据Cloudflare透露，当其爬虫遭遇阻挡时，Perplexity会通过隐藏身份的方式，试图绕过网站的偏好设置，包括已在robots.txt文件中声明的限制和Web应用程序防火墙（WAF）规则。
该指控加剧了外界对Perplexity未经授权获取内容的担忧。此前，Perplexity曾因强行突破付费墙和无视robots.txt文件而受到批评，但其首席执行官Aravind Srinivas当时将责任归咎于第三方爬虫。
为验证客户的投诉，Cloudflare设置了具有类似访问限制的新域名进行测试。结果发现，Perplexity的爬虫（最初名为“PerplexityBot”或“Perplexity-User”）在遭到阻断后，会立即更改其用户代理，伪装成“在macOS上运行的Google Chrome”。Cloudflare称，这种“未声明的爬虫”还使用轮换的IP地址和改变其自治系统网络（ASN）来绕过封锁。Cloudflare表示，其观察到这种规避行为涉及“数万个域名和每天数百万个请求”。
作为回应，Perplexity发言人Jesse Dwyer在一份声明中称Cloudflare的报告是“炒作”，并表示其中存在“很多误解”。尽管如此，Cloudflare已将Perplexity从其已验证机器人名单中移除，并发布了阻止其“隐形爬行”的方法