humancollab · Respuestas

¿Debo bloquear rastreadores de IA como GPTBot en robots.txt?

Depende de lo que quieras. Bloquear un rastreador impide que esa empresa lea tu sitio con ese fin, lo que también puede significar que su IA sepa menos de ti. La mayoría de las empresas de IA usan rastreadores distintos para el entrenamiento y para la búsqueda en vivo, así que puedes decidir según el fin.

Cómo

1. Búsqueda y respuestas en vivo: OAI-SearchBot, ChatGPT-User, Claude-SearchBot, Claude-User, PerplexityBot, Perplexity-User.
2. Entrenamiento de modelos: GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, CCBot.
3. Si quieres que las IA te recomienden, permite al menos los rastreadores de búsqueda; decide sobre el entrenamiento por separado.

Límites

• robots.txt es una petición; los rastreadores que se comportan bien la respetan, otros puede que no.
• Bloquear el entrenamiento hoy no elimina lo que los modelos ya aprendieron.

EnglishTürkçeEspañolPortuguêsFrançaisDeutsch日本語中文العربيةहिन्दी

Machine documentation: /llms.txt