توضیح فایل Robots.txt

وجود این فایل در ریشه دامنه وب سایت امتیاز مثبت محسوب می شود. مثلا: https://example.com/robots.txt . محتویات این فایل به رباتها اجازه خواندن صفحات را سایت را می دهد و یا از آنها سلب می کند. مثلا به کد زیر که در این فایل می نویسیم دقت نمایید:

* :User-agent

/ :Allow

/Disallow: /admin

در مثال بالا به تمام موتورهای جستجو اجازه دادیم که کل سایت را ایندکس کنند جز صفحه ادمین (می توان برای صفحاتی که می خواهیم امنیت آنها حفظ شود، بگوییم که در نتایج سرچ نشان داده نشوند). توجه شود که برخی رباتها و جستجوگرها به این دستور توجه نمی کنند و نباید تنها سلوشن امنیتی باشد.

منابع توضیح فایل Robots.txt

بر اساس نظریات: فیلدینگ، کوستر، بری شوارتز، ایلیز، برادجونز