TasadrBot، الروبوت الذي تقرأ به تصدَّر صفحات الويب العامة

تصدَّر منصة عربية تقيس كيف تجيب محركات الذكاء الاصطناعي عن أسئلة عملاء موقعك، وتحتاج لذلك أن تقرأ صفحات من الويب كما يقرؤها أي زائر، وروبوت القراءة هذا اسمه TasadrBot

هو برنامج تملكه تصدَّر وتشغّله بنفسها، يطلب الصفحات العامة ويقرأ نصها، ولا يعدّل شيئاً في أي موقع يزوره، وإن رأيته في سجلات موقعك فسبب زيارته أحد الأسباب المذكورة أدناه، وكلها قراءة لصفحات مفتوحة للجميع

يقرأ TasadrBot الصفحات العامة وحدها، أي ما يراه أي زائر لم يسجّل دخولاً، ولكل قراءة سبب يعود إلى عميل في تصدَّر طلبها بنفسه أو أضاف الموقع المعني

وفي كل قراءة بلا استثناء، يقرأ TasadrBot ملف robots.txt للموقع قبل أي صفحة منه، ولا يطلب صفحة يمنعها الملف عن اسمه، وإن ردّ الملف بخطأ في الخادم أو لم يصل إليه عدّ ذلك منعاً ولم يطلب شيئاً

حدود هذا الروبوت جزء من تصميمه، وليست وعداً نكتبه ثم ننساه

• لا يطلب صفحة يمنعها ملف robots.txt عن اسمه، في أي قراءة وأي موقع
• لا يسجّل دخولاً إلى أي موقع، ولا يستخدم اسم مستخدم أو كلمة مرور
• لا يملأ نموذجاً ولا يرسله، ولا يضغط زراً ولا يغيّر شيئاً في موقعك، وإنما يطلب الصفحات للقراءة فقط
• لا يقرأ صفحة تحتاج حساباً أو اشتراكاً لفتحها
• لا يخفي هويته، فاسمه ورابط هذه الصفحة في كل طلب يرسله
• لا يصل إلا إلى مواقع عامة على المنفذين المعتادين للويب، ولا يقترب من أي شبكة داخلية
• لا يغمر موقعك بالطلبات، فهو يقرأ عدداً قليلاً من الصفحات في الوقت نفسه، وينتظر المهلة التي يطلبها موقعك في robots.txt، ويبطئ إن ردّ الموقع بأنه مشغول

يرسل TasadrBot مع كل طلب الهوية التالية في ترويسة User-Agent، وفيها رابط هذه الصفحة

والاسم الذي يطابقه ملف robots.txt هو TasadrBot وحده، فهو ما تكتبه في سطر User-agent حين تريد أن تخصّه بقاعدة

أضف السطرين التاليين إلى ملف robots.txt في جذر موقعك، فيتوقف TasadrBot عن طلب أي صفحة منه

ولا يبقى له عندك إلا طلب ملف robots.txt نفسه ليعرف ما تسمح به

اكتب في مجموعة TasadrBot المجلدات التي لا تريده فيها، وأضف Crawl-delay ليترك بين كل صفحة وأخرى عدد الثواني الذي تحدده، ضمن حد معقول

وما لا تذكره في مجموعته يقرؤه ما دام مفتوحاً للجميع

الروبوت يقرأ المجموعة التي تحمل اسمه، وإن لم يجدها قرأ المجموعة العامة التي تبدأ بعلامة النجمة، لذلك يكفي أن تخصّه بمجموعة تسمح له حتى لو كانت المجموعة العامة تغلق الموقع

إن رأيت طلبات من TasadrBot لا تفهم سببها، أو أردت أن نتوقف عن قراءة موقعك، فاكتب إلى support@tasadr.ai باسم موقعك ونص سطر User-Agent كما يرد في سجلاتك، ونردّ بالعربية أو الإنجليزية

ومن يقف خلف الروبوت في من نحن، وطرق التواصل كلها في تواصل معنا، وما نحفظه من بيانات في سياسة الخصوصية