不想让AI偷网站内容

📌 要点摘要

• 防 AI 洗稿两方案：① Cloudflare CDN 屏蔽 AI Bots——Cloudflare 最新功能，在流量访问端检测识别记录 AI 工具 Bots 并屏蔽（针对不守 robots.txt、走代理/第三方渠道采集的爬虫）；② robots.txt 添加 AI 爬虫屏蔽规则（CCBot、ChatGPT-User、GPTBot、Google-Extended、Applebot-Extended、anthropic-ai、ClaudeBot、Omgilibot、FacebookBot、Diffbot、Bytespider、ImagesiftBot、PerplexityBot、cohere-ai 等清单可直接用）。
• 局限性：手动复制粘贴仍无法防，但能提高对手成本，建议添加。

🔍 可信度评估

• 来源：实操方案，Cloudflare 屏蔽 AI bots 功能真实存在（官方博客可核实），robots 规则清单可用。
• 文末为往期文章链接，无星球引流。
• 可信度 ★★★★：技术内容可靠。

🎯 可执行化（结合外贸 B2B 业务）

• ① 部署在 Cloudflare 的站点开启 AI bot 屏蔽，并把 robots.txt 屏蔽清单做成标准配置进建站交付。
• ② 注意别误伤：Google-Extended 只影响 Gemini 训练、不影响谷歌搜索索引。
• ③ 高价值内容站可叠加内容使用条款声明，提高法律追责威慑。

💡 启示

• robots.txt 是“君子协定”，真正拦截要靠 CDN 层——内容保护必须分层，且永远防不住手动复制。

💎 金句

📄 原文

现在大家基本上都是用AI来做内容了, 众多AI写作工具的主要特色是抓取当前搜索排名靠前的文章内容，总结归纳，然后结合Chat GPT等技术重新组织和调整，创作出一篇全新的文章。 大家都是这么做的，这就造成了一种低质量的内容产出循环，另一个角度来说, 对很多人工创作的网站来说是很不公平的，辛辛苦苦写出的文章几分钟就被人搜刮过去，然后被洗稿，内容安全性无法保障． 如果我们自己的内容质量较高，并且在谷歌中获得了不错的排名，又不希望被AI工具“借鉴”，可以尝试以下两个方案： Cloudflare CDN中屏蔽AI Bots流量 如果你的网站使用了Cloudflare CDN, 可以试一试这个Cloudflare最新推出的功能 Cloudflare会在流量访问端检测,识别和记录AI工具的Bots, 并最终进行屏蔽.

设置方法参考这篇: https://blog.cloudflare.com/ai-bots/ 很多AI工具并不会遵守Robots txt的规则, 会采取无视, 伪造, 代理, 第三方等渠道采集网站内容, 所以建议网站站长在CDN渠道操作一下, Cloudflare的ip数据库足够大, 随着时间和数据的累计, 绝大部分AI都可以识别出来并屏蔽掉.

网站Robots.txt中阻止AI Bots抓取

添加robots.txt中的屏蔽规则来阻止这些爬虫采集网站内容, Robots txt简单来说是一个君子协定, 只适用于下面这些重视声誉和法律风险的“大公司”AI bots.

下面收集整理了一些常见的AI爬虫机器人, 且写好了规则, 可以直接拿来用.

User-agent: CCBotDisallow: / User-agent: ChatGPT-UserDisallow: / User-agent: GPTBotDisallow: / User-agent: Google-ExtendedDisallow: / User-agent: Applebot-Extended Disallow: /User-agent: anthropic-aiDisallow: / User-agent: ClaudeBot Disallow: /User-agent: OmgilibotDisallow: / User-agent: OmgiliDisallow: / User-agent: FacebookBotDisallow: / User-agent: DiffbotDisallow: / User-agent: BytespiderDisallow: / User-agent: ImagesiftBot Disallow: / User-agent: PerplexityBotDisallow: / User-agent: cohere-aiDisallow: / 也可以参考这篇: 推荐的WordPress网站Robots.txt设置 当然，实际对手可以通过手动复制粘贴的形式来偷我们的内容，但是一定上增加了对手的成本, 综合考虑也是建议添加的. Thats’ it. 做外链的两个方向