GPTBot gibi yapay zekâ tarayıcılarını robots.txt'te engellemeli miyim?
Ne istediğinize bağlı. Bir tarayıcıyı engellemek, o şirketin sitenizi o amaçla okumasını durdurur; bu da o şirketin yapay zekâsının sizin hakkınızda daha az şey bilmesi anlamına gelebilir. Çoğu yapay zekâ şirketi eğitim ve canlı arama için ayrı tarayıcılar kullanır, bu yüzden amaca göre seçim yapabilirsiniz.
Nasıl
- Arama ve canlı cevaplar: OAI-SearchBot, ChatGPT-User, Claude-SearchBot, Claude-User, PerplexityBot, Perplexity-User.
- Model eğitimi: GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, CCBot.
- Yapay zekâların sizi önermesini istiyorsanız en azından arama tarayıcılarına izin verin; eğitim konusunda ayrıca karar verin.
Sınırlar
- robots.txt bir ricadır; kurallara uyan tarayıcılar ona uyar, diğerleri uymayabilir.
- Eğitimi bugün engellemek, modellerin daha önce öğrendiklerini silmez.
EnglishTürkçeEspañolPortuguêsFrançaisDeutsch日本語中文العربيةहिन्दी
Machine documentation: /llms.txt