humancollab · जवाब

क्या मुझे robots.txt में GPTBot जैसे AI क्रॉलर ब्लॉक करने चाहिए?

यह इस पर निर्भर करता है कि आप क्या चाहते हैं। किसी क्रॉलर को ब्लॉक करने से वह कंपनी उस उद्देश्य के लिए आपकी साइट नहीं पढ़ पाती, जिसका मतलब यह भी हो सकता है कि उसका AI आपके बारे में कम जाने। ज़्यादातर AI कंपनियाँ ट्रेनिंग और लाइव सर्च के लिए अलग-अलग क्रॉलर इस्तेमाल करती हैं, इसलिए आप हर उद्देश्य के लिए अलग से चुन सकते हैं।

कैसे

1. सर्च और लाइव जवाब: OAI-SearchBot, ChatGPT-User, Claude-SearchBot, Claude-User, PerplexityBot, Perplexity-User.
2. मॉडल ट्रेनिंग: GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, CCBot.
3. अगर आप चाहते हैं कि AI आपकी सिफ़ारिश करें, तो कम से कम सर्च क्रॉलरों को अनुमति दें; ट्रेनिंग के बारे में अलग से फ़ैसला करें।

सीमाएँ

• robots.txt एक अनुरोध है; नियम मानने वाले क्रॉलर इसका पालन करते हैं, बाक़ी शायद न करें।
• आज ट्रेनिंग ब्लॉक करने से वह नहीं मिटता जो मॉडल पहले ही सीख चुके हैं।

EnglishTürkçeEspañolPortuguêsFrançaisDeutsch日本語中文العربيةहिन्दी

Machine documentation: /llms.txt