هذه الاداة مولد Robots.txt تسهل عليك الامور ، فقط اختار الاعدادت التي تريد واضغط على توليد ملف روبوت او انشاء ملف Robots.txt كي تولده اتوماتكياً لك بحيث يمكنك نسخه الى ملف واستعماله على موقعك
Robots.txt : كل محركات البحث لديه عناكب البحث وهي الـ ( Roborts – Spiders – Wanderers )، ومن مهام واولويات عمل هذه العناكب ان تقوم بتفحص المواقع الخاصة بنا وأرشفتها، ولكن قد ترغب بمنع هذه العناكب من زيارة بعض اجزاء الموقع، او بعض الصفحات المعينة من الموقع، ولهذا يتم انشاء هذا الملف وتزويده الى خادم الموقع (Server )، وقد تحتاج في الكثير من الاحيان مثل هذا الملف، لحجب بينات شخصية تخصك عن محركات البحث، او منع هذه العناكب من الوصول الى مواقع او صفحات قيد الانشاء.
أما طريقة انشاء مثل هذا الملف يدوياً بصورة مبسطة ودون الدخول في التفاصيل فهي انك تحتاج الى استخدام NotePad ومن ثم اضافة هاتين الجملتين :
user-agent : ( spider or bots name )
disallow : ( Directory or FileName )
وتقوم في ما بين القوسين في الجملة الاولى بإضافة اسم العنكبوت الذي يخص محرك البحث الذي تستخدمه، وفي ما بين القوسين الثاني تضيف اسم الملف او الصفحات التي ترغب بحجبها عنه . أما للحجب عن كافة محركات البحث دون ان تخص احدها فيمكنك استخدام الجملتين التاليتين :
use-agent : *
Disallow : /