humancollab · 解答

我应该在 robots.txt 中屏蔽 GPTBot 等 AI 爬虫吗？

这取决于你想要什么。屏蔽某个爬虫，会阻止该公司出于相应目的读取你的网站，这也可能意味着它的 AI 对你了解得更少。大多数 AI 公司用不同的爬虫分别进行训练和实时搜索，因此你可以按用途分别选择。

怎么做

1. 搜索和实时回答：OAI-SearchBot、ChatGPT-User、Claude-SearchBot、Claude-User、PerplexityBot、Perplexity-User。
2. 模型训练：GPTBot、ClaudeBot、Google-Extended、Applebot-Extended、CCBot。
3. 如果希望 AI 推荐你，至少要允许搜索类爬虫；是否允许训练可另行决定。

局限

• robots.txt 只是一种请求；守规矩的爬虫会遵守，其他爬虫未必。
• 今天屏蔽训练，并不会删除模型已经学到的内容。

EnglishTürkçeEspañolPortuguêsFrançaisDeutsch日本語中文العربيةहिन्दी

Machine documentation: /llms.txt