Perplexity 被指无视屏蔽措施抓取网站内容
Cloudflare 近日发布研究报告，指控 AI 初创公司 Perplexity 在网站明确设置禁止 AI 抓取的情况下，仍通过更换爬虫身份信息和网络地址等手段，绕过 robots.txt 屏蔽并抓取大量内容。该行为被观测到涉及数万个域名，每天发起数百万次请求。Cloudflare 称，相关客户曾多次投诉 Perplexity 无视屏蔽规则，公司随后通过技术手段确认了这一行为，并已将 Perplexity 的爬虫移出认证名单，升级了拦截措施。
Perplexity 发言人否认相关指控，称 Cloudflare 的报告为“推销行为”，并质疑报告中的证据。此前，媒体也曾指 Perplexity 未经授权抓取内容并涉嫌抄袭。Cloudflare 近期还推出工具和市场，帮助网站所有者对 AI 抓取行为收费或直接阻止。
TechCrunch
🍀频道 🍵茶馆 📮投稿
Cloudflare 近日发布研究报告，指控 AI 初创公司 Perplexity 在网站明确设置禁止 AI 抓取的情况下，仍通过更换爬虫身份信息和网络地址等手段，绕过 robots.txt 屏蔽并抓取大量内容。该行为被观测到涉及数万个域名，每天发起数百万次请求。Cloudflare 称，相关客户曾多次投诉 Perplexity 无视屏蔽规则，公司随后通过技术手段确认了这一行为，并已将 Perplexity 的爬虫移出认证名单，升级了拦截措施。
Perplexity 发言人否认相关指控，称 Cloudflare 的报告为“推销行为”，并质疑报告中的证据。此前，媒体也曾指 Perplexity 未经授权抓取内容并涉嫌抄袭。Cloudflare 近期还推出工具和市场，帮助网站所有者对 AI 抓取行为收费或直接阻止。
TechCrunch
🍀频道 🍵茶馆 📮投稿
👎 124 😁 56 ❤️ 9 👍 6 
5 🔥 3
5 🔥 3 