حُجب ShapBot عن طريق الخطأ.
ShapBot هو برنامج الزحف الذي يغذّي واجهة البحث بالذكاء الاصطناعي لدى Parallel. منذ 13 تشرين الأول كان Worker الموقع يردّ عليه بالرمز 429، في سطر منسوخ من إعدادات الخادم الوحيد القديم، وكانت قاعدة في Cloudflare تردّ عليه بالرمز 403. أزلنا الاثنين في 4 تشرين الثاني.
البحث وواجهة البرمجة وMCP مفتوحة لها.
يعطي ملف robots.txt الآن كل برنامج زحف مسمّى تابع للذكاء الاصطناعي مجموعة خاصة به تسمح بكل شيء ما عدا صفحات المراجعة الداخلية: البحث و/api/v1/ و/mcp والعناوين التي تحمل استعلامات. ويشمل ذلك GPTBot وOAI-SearchBot وChatGPT-User وClaudeBot وClaude-SearchBot وClaude-User وPerplexityBot وPerplexity-User وCCBot وShapBot وDuckAssistBot وMistralAI-User. أما محركات البحث فتبقى على القواعد السابقة وخارج /api/ و/search/.
الحدّ نفسه للجميع.
فتح الأبواب لم يُلغِ حدّ الطلبات. ما زال البحث وواجهة البرمجة وMCP تسمح لكل مستخدم، إنساناً كان أو برنامج زحف، بـ30 طلباً كل 10 ثوانٍ من العنوان الواحد.
يعلم Bing بكل تغيير.
يقرأ بحث ChatGPT فهرس Bing، وقد جاءت 749 من أصل 1,289 مشاهدة صفحة على موقعنا في 3 تشرين الثاني من ChatGPT. في 31 تشرين الأول كان Bing قد فهرس 3,768 صفحة فقط من أصل 410,503 صفحات في خرائط موقعنا. وفي 3 تشرين الثاني أرسلنا الصفحات الـ410,503 كلها إلى IndexNow على 41 دفعة، وقُبلت كل دفعة. وترسل كل عملية بناء الآن الصفحات التي غيّرتها إلى Bing وYandex وNaver وSeznam.
صفحات المواضيع: مفتوحة لـBing ومخفية عن Google.
منذ 2 تشرين الثاني كانت صفحات المواضيع الثلاثون تطلب من كل محركات البحث ألا تفهرسها. أما الآن فالطلب موجّه إلى Google وحده، عبر وسم googlebot. ويستطيع Bing، الذي يبحث فيه ChatGPT وCopilot، فهرستها. وتبقى خارج خرائط الموقع لأن Google يقرأها.