هل تصل محركات الذكاء الاصطناعي إلى موقعك وتقرؤه؟

• الخلاصة أولاًكم محركاً من الثمانية يقرأ موقعك بلا مشكلة، وكم مشكلة قد تمنع بعضها أو تحدّ منها

• زاحف كل محركما يقوله ملف robots.txt لزاحف كل محرك، ورقم السطر الذي يسمح له أو يمنعه

• المحركات خارج خطتكنفحص وصول المحركات الثمانية في كل خطة، ونعلّم المحرك الذي لا تحلّل خطتك إجاباته بعلامة «خارج خطتك»

• مؤكَّد أو مؤشّرلكل حكم درجته، «مؤكَّد» حين تحسمه ملفاتك وصفحاتك، و«مؤشّر» حين لا نرى كل ما يحكم فيه

• ما لا نستطيع التأكد منهنقوله بجانب النتيجة، مثل الحماية التي ترفض الزواحف بأسمائها، ووصول Grok الذي لا تعلن xAI عن زاحف له

• زواحف البحثتقرأ صفحاتك ليستشهد بها المحرك في إجاباته، وهي التي تحكم وصوله إلى موقعك

• زواحف التدريبمثل GPTBot وClaudeBot، تجمع المحتوى لتدريب النماذج، ومنعها قرار لك

• السطر المشتركحين يمنع السطر نفسه زاحف التدريب وزاحف البحث، نسمّي ذلك مشكلة ونعطيك إصلاحها

• قرار Google-Extendedيتحكم في استخدام Google لمحتوى موقعك في تدريب Gemini وإجاباته، ولا يؤثر في نتائج بحث Google ولا في Google AI Overviews وGoogle AI Mode، فنتركه قراراً لك لا مهمة

• زواحف أخرىللعلم فقط، مثل الزاحف الذي يفتح الصفحة حين يطلبها شخص في محادثة

• التعديل جاهزاًتعديل ملف robots.txt سطراً سطراً، المحذوف والمضاف، تنسخ التعديل أو الملف المعدّل كاملاً

• مهمة في خطة العمللكل مشكلة مهمة باسمها، مثل «السماح لزاحف Perplexity بقراءة موقعك»، تسندها إلى فريقك

• تُغلق وحدهاحين نجد الإصلاح في موقعك تُغلق المهمة، و«التحقق الآن» حين لا تريد الانتظار

• تنبيه حين يتغيّر شيءتنبيه داخل المنصة حين يمنع ملف robots.txt أو إعدادات Cloudflare زاحف محرك من جديد، أو تطلب صفحة ألا تُفهرس، أو يتوقف الملف عن الاستجابة

• مقارنة بعد السماحبعد السماح لزاحف محرك، تقارن استشهاد ذلك المحرك بموقعك قبل السماح وبعده، مقارنةً لا سبباً

• نفّذالمشكلة الأعلى أولوية، مثل زاحف محرك يمنعه ملفك، أو صفحة بلا نص قبل تشغيل جافاسكربت

• راجعقرار Google-Extended، والصفحات التي لم تُجب في آخر فحص

• راقبآخر فحص لملف robots.txt وصفحتك الرئيسية، وطلبات زواحف الذكاء الاصطناعي من Cloudflare

• تابعالفحص الكامل التالي، والمهام المغلقة وما عاد منها بعد حلّه

أسئلة شائعة