humancollab · 回答

GPTBotなどのAIクローラーはrobots.txtでブロックすべき？

何を望むかによります。クローラーをブロックすると、その会社はその目的であなたのサイトを読めなくなり、その会社のAIがあなたについて知ることも少なくなり得ます。多くのAI企業は学習用とリアルタイム検索用に別々のクローラーを使っているため、目的ごとに選べます。

方法

1. 検索とリアルタイムの回答：OAI-SearchBot、ChatGPT-User、Claude-SearchBot、Claude-User、PerplexityBot、Perplexity-User。
2. モデルの学習：GPTBot、ClaudeBot、Google-Extended、Applebot-Extended、CCBot。
3. AIに推薦されたいなら、少なくとも検索用クローラーは許可し、学習については別に判断します。

限界

• robots.txtはお願いにすぎません。行儀のよいクローラーは従いますが、従わないものもあります。
• 今学習をブロックしても、モデルがすでに学んだ内容は消えません。

EnglishTürkçeEspañolPortuguêsFrançaisDeutsch日本語中文العربيةहिन्दी

Machine documentation: /llms.txt