مفاهیم ایندکس و crawl
برای آنکه موتورهای جستجو بتوانند محتوای صفحات وب را کاوش کرده (اصطلاحا crawl کنند) و مرتبط ترین نتایج را به کاربران نشان دهند، لازم است بتوانند صفحات وب را خوانده و اصطلاحا ایندکس کنند. پروتکل های ایندکس کردن صفحات وب نسبتا طولانی است و شاید کاربرد چندانی در این گفتار نداشته باشد (مربوط به عملکرد موتور جستجو است) اما به بیان خاصه، این پروتکل ها به موتور جستجو کمک می کنند صفحات را با سرعت بسیار بالایی خوانده و نتایج را در حجم بسیار کمی ذخیره کنند تا در زمان درخواست کاربر بتوانند به سرعت (کمتر از چند میلی ثانیه) پاسخ را ارائه دهند. هرچه موتورهای جستجو بتوانند راحت تر و سریعتر یک سایت را crawl و ایندکس کنند، بهتر می توانند مطالب آن سایت را در نتایج جستجو منعکس نمایند بنابراین برای موتورهای جستجو مهم است که سایت ها استانداردهای سایت مپ، فایل ربات، معماری سایت، هدلاین نویسی، و متا تگ ها را رعایت کرده باشند (همگی در به صورت جداگانه بیان شده اند). اهمیت ایندکس شدن صفحات سایت در سئو به شرح زیر است:
- گوگل و سایر موتورهای جستجو، زمان نوشته شدن یک مطلب در سایت شما را وقتی می دانند که آنرا ایندکس کرده باشند یعنی اگر سایت دیگری همان مطلب را نوشته اما زودتر ایندکس شود، سایت شما در رتبه دوم قرار می گیرد و حتی ممکن است بابت کپی کردن مطلب از سایت دیگر جریمه شوید حال آنکه آن سایت از شما کپی کرده است.
- ربات های گوگل برای خواندن سایت شما در فواصل زمانی مشخصی مراجعه خواهند کرد. هرچه ربات های گوگل به سایت شما مراجعه کرده و تغییرات بیشتری را از طریق فایل سایت مپ (که در ادامه توضیح داده می شود) شناسایی کنند، سایت شما را فعال تر دانسته و در بازه های نزدیکتری به سایت شما مراجعه می کنند. یعنی مثلا اگر در ابتدا هر سه ماه یکبار سایت شما را ایندکس می کردند، اگر سایت شما فعال شناسایی شود بازه بعدی 45 روز خواهد بود. این زمان در سایتهای خبری که دایما مطالب جدیدی درج می کنند تا هر 30 دقیقه نیز کاهش می یابد. همین موضوع باعث ارتقای رتبه سایت می شود پس درج مکرر مطالب در سایت و ایندکس شدن متوالی باعث افزایش رتبه می شود.
- اگر سایت شما جدید است و یا احتمال می دهید که رقبا مطالب شما را کپی کنند، می توانید از طریق Google Search Console به گوگل اطلاع دهید تا آن صفحه را خارج از برنامه ایندکس کند.
بر اساس نظریات: کندو، موهاپاترا، کنار، چاکرابورتی
