هل يجب أن أحظر زواحف الذكاء الاصطناعي مثل GPTBot في robots.txt؟
يعتمد ذلك على ما تريده. حظر زاحف ما يمنع تلك الشركة من قراءة موقعك لذلك الغرض، وقد يعني ذلك أيضًا أن ذكاءها الاصطناعي سيعرف عنك أقل. تستخدم معظم شركات الذكاء الاصطناعي زواحف منفصلة للتدريب وللبحث المباشر، لذا يمكنك الاختيار حسب الغرض.
كيف
- البحث والإجابات المباشرة: OAI-SearchBot وChatGPT-User وClaude-SearchBot وClaude-User وPerplexityBot وPerplexity-User.
- تدريب النماذج: GPTBot وClaudeBot وGoogle-Extended وApplebot-Extended وCCBot.
- إذا كنت تريد أن يوصي بك الذكاء الاصطناعي، فاسمح على الأقل بزواحف البحث؛ وقرّر بشأن التدريب بشكل منفصل.
الحدود
- robots.txt مجرد طلب؛ الزواحف الملتزمة تتبعه، وغيرها قد لا يفعل.
- حظر التدريب اليوم لا يزيل ما تعلمته النماذج بالفعل.
EnglishTürkçeEspañolPortuguêsFrançaisDeutsch日本語中文العربيةहिन्दी
Machine documentation: /llms.txt