توضیح فایل Robots.txt
وجود این فایل در ریشه دامنه وب سایت امتیاز مثبت محسوب می شود. مثلا: https://example.com/robots.txt . محتویات این فایل به رباتها اجازه خواندن صفحات را سایت را می دهد و یا از آنها سلب می کند. مثلا به کد زیر که در این فایل می نویسیم دقت نمایید:
* :User-agent
/ :Allow
/Disallow: /admin
در مثال بالا به تمام موتورهای جستجو اجازه دادیم که کل سایت را ایندکس کنند جز صفحه ادمین (می توان برای صفحاتی که می خواهیم امنیت آنها حفظ شود، بگوییم که در نتایج سرچ نشان داده نشوند). توجه شود که برخی رباتها و جستجوگرها به این دستور توجه نمی کنند و نباید تنها سلوشن امنیتی باشد.
بر اساس نظریات: فیلدینگ، کوستر، بری شوارتز، ایلیز، برادجونز
