از ورود خزنده های موتورهای جستجو جلوگیری کند مسیر ساخت فایل روبوتس تکس به صورت زیر است
http://www.example.com/robots.txt
آموزش ساخت فایل به این صورت است که بعد از تنظیم پیش فرض ها فایل ها و آدرس هایی از سایت را که نمی خواهیم موتور جستجو وارد آن شوند را مشخص می کنیم و در فایل قرار می دهیم
User-agent: *
Disallow: /image/
Disallow: /image/picture.png/
Disallow: /simple.html/
Disallow: /simple.zip/
برای جلوگیری از ورود موتور جستجو روش دیگری هم می توان استفاده کرد که به صورت روبرو است
<meta name="robots" content="noindex" />
و در قسمت هدر قرار می دهیم تا صفحه مورد نظر ما در موتور جستجو ایندکس نشود
اضافه کردن نقشه سایت به انتهای فایل
فایل روبوتس علاوه بر جلوگیری از ورود موتورهای جستجو میتواند نقشه سایت شما را نیز به ربات ها معرفی کند برای این کار باید آدرس فایل نقشه سایت را به انتهای فایل اضافه کنید robots.txt
User-agent: *
Disallow: /image/
Disallow: /simple.html/
Disallow: /simple.zip/
Sitemap: http://www.nicom.ir/sitemap.xml