هل تستطيع محركات الذكاء الاصطناعي قراءة موقعك، وكيف تتأكد؟

روبوت الزحف برنامج ترسله شركة المحرك ليقرأ صفحات الويب باسم ثابت يكتبه في كل طلب، ولأغلب الشركات روبوت للبحث، وآخر يزور الصفحة حين يطلبها مستخدم، وثالث يجمع محتوى للتدريب

والفرق بين الثلاثة هو ما يهمّك، فروبوت البحث يقرأ صفحتك ليستشهد بها المحرك في إجاباته، وروبوت المستخدم يفتحها حين يسأل أحد عنها، وروبوت التدريب يجمع النص لنماذج قادمة، وفي الجدول أسماؤها كما توثّقها الشركات نفسها

ولا تثق باسم الروبوت وحده، فيقول Google إن اسم الروبوت في الطلب يمكن انتحاله، ولذلك تنشر Google وOpenAI وPerplexity وAnthropic وApple عناوين IP التي تزحف منها، وطريقة التحقق في الأسئلة الشائعة آخر الدليل

وهذا الدليل جزء من خطوات تصدُّر إجابات الذكاء الاصطناعي، فقراءة المحرك لصفحتك أول خطوة قبل أي كتابة

اسمح لروبوتات البحث وروبوتات المستخدم إن أردت أن يُستشهد بك، أما روبوتات التدريب فقرار تجاري تتخذه وحدك، لأن الشركات التي وثّقت الفصل بينهما تقول إن حجبها لا يُخرجك من البحث

فتقول OpenAI إن كل إعداد مستقل عن الآخر، فتستطيع أن تسمح لـOAI-SearchBot ليُعرض موقعك في بحث ChatGPT، وتحجب GPTBot لئلا يُستعمل محتواك في التدريب

وتقول Anthropic إن حجب ClaudeBot يعني استبعاد محتواك القادم من بيانات التدريب، وإن حجب Claude-SearchBot يمنع فهرسة محتواك لبحثها، وإن حجب Claude-User يمنعها من جلب صفحتك حين يسأل عنها مستخدم

وGoogle-Extended حالة خاصة، فهو ليس روبوتاً بل اسم تكتبه في robots.txt، ويقول Google إنه يقرّر هل يُستعمل ما يجمعه من موقعك في تدريب نماذج Gemini وفي إسناد إجاباتها، وإنه لا يؤثر في دخول موقعك بحث Google ولا في ترتيبه

فالتحكم في AI Overviews وAI Mode يمر بأوامر البحث نفسها، أي قواعد Googlebot في robots.txt وأوامر المقتطفات في القسم السادس، ومعها إعداد في Google Search Console يستبعد الموقع كله من الواجهتين، لا بـGoogle-Extended

ورأينا لنشاط تجاري يريد أن يرشّحه المحرك لعملائه أن يسمح لروبوتات البحث والمستخدم كلها، وأن يقرر روبوتات التدريب مع فريقه، ونحن في تصدَّر (Tasadr) نسمح لها كلها في موقعنا، لأن ما نكتبه نريده أن يُقرأ ويُقتبس

ضع ملفاً نصياً اسمه robots.txt في جذر موقعك، واكتب فيه مجموعة لكل روبوت تريد أن تخصّه بقاعدة، فالروبوت يقرأ المجموعة التي تحمل اسمه، وإن لم يجدها قرأ المجموعة العامة

وفي المثال التوضيحي التالي موقع ruwaq-schools.sa لمدارس أهلية في جدة، يسمح لروبوتات البحث كلها، ويحجب روبوتَي تدريب، ويغلق بوابة أولياء الأمور التي لا يحتاجها أحد في البحث

لاحظ أن المثال لا يكتب مجموعة لـOAI-SearchBot ولا لـPerplexityBot ولا لـClaude-SearchBot، فهي تقرأ المجموعة العامة وتُسمح لها الصفحات كلها عدا البوابة، وهذا أبسط من مجموعة لكل روبوت، وأقل أخطاء في النسخ

وتذكّر أمرين، أن الملف ليس قفلاً، فالمعيار نفسه يقول إن قواعده ليست وسيلة لمنع الوصول، وأن Google يقول إنه لا يُبقي صفحة خارج نتائجه، فالصفحة التي لا تريدها في البحث تحتاج وسم noindex أو كلمة مرور

وتقول OpenAI وPerplexity إن تعديل الملف قد يحتاج نحو 24 ساعة حتى يعمل في أنظمتهما، فلا تحكم على أثره في اليوم نفسه

أما ملف llms.txt فلا يسمح لروبوت ولا يحجبه، فهو ملخص لموقعك لا قواعد فيه، وما يقوله Google عنه في ما هو ملف llms.txt، وهل يحتاجه موقعك؟

لأن بعض المواقع لا تكتب نصها في HTML الذي يرسله الخادم، بل تبنيه بجافاسكربت داخل المتصفح، والروبوت الذي لا يشغّل جافاسكربت يقرأ قالباً بلا نص

ويقول Google إن Googlebot يعالج صفحات جافاسكربت على ثلاث مراحل، الزحف ثم المعالجة ثم الفهرسة، وإن كل صفحة تعود بالرمز 200 تدخل طابور المعالجة، لكنه يقول أيضاً إن إعداد الصفحة في الخادم أو مسبقاً فكرة جيدة، لأنها أسرع، ولأن بعض الروبوتات لا تستطيع تشغيل جافاسكربت

أما صفحات OpenAI وPerplexity وAnthropic عن روبوتاتها، كما قرأناها في 11 أكتوبر 2026، فلا تقول هل تشغّل جافاسكربت، وتقول Apple إن Applebot قد يعرض الصفحة في متصفح، وإنه قد لا يقرؤها كما يجب إن حجبت ملفات جافاسكربت أو CSS في robots.txt

فالطريق الآمن أن يكون النص المهم في HTML نفسه، وتعرف ذلك في دقيقة، افتح الصفحة، واختر عرض مصدر الصفحة من قائمة المتصفح، وابحث عن جملة من فقرتك الأولى، فإن لم تجدها في المصدر فهي تُبنى في المتصفح

في Google نعم، فيقول Google إن الصفحة تحتاج لتكون رابطاً داعماً في AI Overviews وAI Mode أن تكون مفهرسة ومؤهلة للعرض في البحث بمقتطف، وألا يكون موقعها مستبعداً منهما في إعدادات Google Search Console

وهذا ما يقصده من يبحث عن «أرشفة موقعك في جوجل» أو «طريقة ارشفة موقعك في جوجل»، فالأرشفة هي الفهرسة، أن يقرأ Google صفحتك ويحفظها في فهرسه ليختار منها حين يُسأل

ويقول Google أيضاً إن زيارات المواقع من ميزات الذكاء الاصطناعي تُحسب ضمن زيارات البحث في Google Search Console، في تقرير الأداء تحت نوع البحث Web، وتعرف هل صفحتك مفهرسة من أداة فحص الرابط في Google Search Console، وتطلب فهرستها منها إن لم تكن

أما المحركات الأخرى فلكل منها طريقه، فـChatGPT وPerplexity وClaude تقرأ بروبوتاتها، وCopilot يجيب من بحث Bing، ولذلك أرسل خريطة موقعك إلى Bing Webmaster Tools أيضاً، كما في قائمة تجهيز الموقع

يمنعان Google من الاقتباس من صفحتك أو يحدّان منه، ويقول Google إن nosnippet يمنع استعمال المحتوى مدخلاً مباشراً في AI Overviews وAI Mode، وإن max-snippet يحدّ مقدار ما يُستعمل منه

ورأينا واضح، لا تضع أياً منها على صفحات الخدمات والأدلة التي تريد أن يُستشهد بها، واحتفظ بها لما لا تريد اقتباسه فعلاً، كشروط عقود خاصة أو صفحات داخلية

• nosnippet لا مقتطف للصفحة في نتائج البحث، ولا استعمال لنصها مدخلاً مباشراً في AI Overviews وAI Mode
• max-snippet حدّ بعدد الأحرف لطول المقتطف، والقيمة 0 تساوي nosnippet، والقيمة -1 تترك الطول لـGoogle
• data-nosnippet سمة توضع على جزء من HTML ليُستثنى من المقتطف، وتضعها صفحة Google عن ميزات الذكاء الاصطناعي في بحثه بين أدوات التحكم فيما يُعرض من صفحتك
• noindex لا تُعرض الصفحة في نتائج البحث أصلاً، فلا تدخل AI Overviews ولا AI Mode لأنها ليست مفهرسة

افتح ملف robots.txt، ثم مصدر صفحة مهمة، ثم Google Search Console، ثم اسأل من يدير الاستضافة، وبعد عشر دقائق تعرف هل تصل صفحاتك إلى المحركات كاملة

وإن كان عندك مطوّر، فاطلب منه أن يطلب صفحتك باسم كل روبوت في الجدول، ويتأكد أن الرد 200 وفيه نص الصفحة كاملاً، فهذا ما فعلناه بموقعنا في القسم التالي

• الدقيقة 1 إلى 2، افتح عنوان موقعك وبعده /robots.txt، وابحث عن أي سطر Disallow تحت اسم روبوت بحث، أو تحت المجموعة العامة يشمل صفحاتك المهمة
• الدقيقة 3 إلى 4، افتح أهم صفحة خدمة عندك، واختر عرض مصدر الصفحة، وابحث فيه عن جملتك الأولى وعنوانك الرئيسي، فإن غابا فالنص يُبنى في المتصفح
• الدقيقة 5 إلى 6، ابحث في المصدر نفسه عن noindex وnosnippet وmax-snippet، فإن وجدتها على صفحة تريد أن يُستشهد بها فاطلب حذفها
• الدقيقة 7 إلى 8، افتح أداة فحص الرابط في Google Search Console والصق رابط الصفحة، لتعرف هل هي مفهرسة، وكيف يقرؤها Googlebot
• الدقيقة 9 إلى 10، اسأل من يدير الاستضافة أو شبكة توزيع المحتوى هل يحجب جدار الحماية روبوتات الذكاء الاصطناعي، أو يطلب منها اختباراً قبل الدخول، فتقول Perplexity إن جدار الحماية قد يحتاج إلى السماح لروبوتاتها صراحة

في 11 أكتوبر 2026 طلبنا صفحة دليل العيادات من tasadr.ai باسم 17 روبوت زحف، وباسم أداة curl العادية، فعاد كل طلب بالرمز 200 وبالصفحة كاملة، بعنوانها الرئيسي وبياناتها المنظَّمة

ولم يعترض أي طلب اختبار أو صفحة تحقق، والروبوتات هي Googlebot وBingbot وGPTBot وOAI-SearchBot وChatGPT-User وPerplexityBot وPerplexity-User وClaudeBot وClaude-SearchBot وClaude-User وGoogleOther وApplebot وmeta-externalagent وCCBot وBytespider وDuckAssistBot وMistralAI-User

والدرس أن موقعاً يُكتب نصه في الخادم، ولا يحجب جدار حمايته أحداً، يصل كاملاً إلى كل من طلبه، وهذا لا يعني أن المحركات تستشهد بنا، فوصول الروبوت شرط للاستشهاد لا ضمان له

ولهذا الاختبار حدّ نقوله، فهو يطلب الصفحة باسم الروبوت فقط، ولا يأتي من عناوين IP الحقيقية لتلك الشركات، فجدار حماية يتحقق من العنوان قد يعامل الروبوت الحقيقي معاملة أخرى، وتبقى سجلات الخادم هي الدليل الأخير

وفحصنا في 14 أكتوبر 2026 الملفات العامة لـ71 موقعاً استشهد بها Perplexity أو Claude في إجابات شراء عربية، فلم نجد في ملفات robots.txt التي قرأناها قاعدة تحجب روبوتات البحث، والأرقام كاملة في من يتصدّر إجابات الشراء في الذكاء الاصطناعي؟ أكتوبر 2026

لا أحد يضمن أن يستشهد بك محرك لأن روبوته قرأ صفحتك، فالقراءة شرط والاختيار بعدها للمحرك، ولا تبيع أي شركة منها مكاناً بين المصادر التي يستشهد بها محركها

وأسماء الروبوتات ووظائفها تتغيّر، ونقلناها هنا من صفحات أصحابها كما قرأناها في 11 أكتوبر 2026، فراجعها قبل أن تعدّل ملفك، ولا تقرأ هذا الدليل نصيحة قانونية في حماية محتواك أو حقوقه