humancollab · Respostas

Devo bloquear rastreadores de IA como o GPTBot no robots.txt?

Depende do que pretende. Bloquear um rastreador impede essa empresa de ler o seu site para esse fim, o que também pode significar que a IA dela fique a saber menos sobre si. A maioria das empresas de IA usa rastreadores separados para treino e para pesquisa em tempo real, por isso pode escolher consoante o fim.

Como

1. Pesquisa e respostas em tempo real: OAI-SearchBot, ChatGPT-User, Claude-SearchBot, Claude-User, PerplexityBot, Perplexity-User.
2. Treino de modelos: GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, CCBot.
3. Se quer que as IAs o recomendem, permita pelo menos os rastreadores de pesquisa; decida sobre o treino em separado.

Limites

• O robots.txt é um pedido; os rastreadores bem-comportados respeitam-no, outros podem não o respeitar.
• Bloquear o treino hoje não apaga o que os modelos já aprenderam.

EnglishTürkçeEspañolPortuguêsFrançaisDeutsch日本語中文العربيةहिन्दी

Machine documentation: /llms.txt