موتورهای جستجو چگونه کار میکنند؟ Crawling و Indexing چیست؟
دانستن اینکه کاربران چطور از موتور جستجو استفاده میکنند و موتورهای جستجو چگونه کار میکنند و چطور صفحات وب را رتبه بندی میکنند، میتواند مهمترین معیار ما برای شناخت تکنیکهای سئو و بهینه سازی سایت باشد.
موتورهای جستجو درحقیقت، ماشینهای پاسخدهی هستند. موتور جستجو یک سیستم نرمافزاری است که وظیفه اصلی آن پیدا کردن محتوا (اعم از محتوای متنی، صوتی، عکس، ویدئو و هر فایل دیگری) در شبکه جهانی وب (WWW) است؛ محتوایی که بیشترین مطابقت را با کوئری شما داشته باشد. (کوئری همان عبارتی است که کاربر جستجو میکند)
یک موتور جستجو از دو بخش اصلی تشکیل شده است: پایگاه داده اطلاعات و الگوریتمها.
موتورهای جستجو چگونه کار میکنند؟
برای کشف، دستهبندی و رتبهبندی میلیونها وبسایتی که در فضای اینترنت وجود دارند، موتورهای جستجو باید ابتدا بطور دقیق بفهمند چه نوع اطلاعاتی در دسترس است و در گام بعدی، آن اطلاعات را بطور منطقی به کاربران ارائه دهند. این فرآیند ازطریق ۳ اقدام بنیادی انجام میپذیرد:
Crawling (خزیدن): خزش در سایت ها برای پیدا کردن محتوا، و به هر لینک، URL و کدی که برسند آن را بررسی میکنند.
Indexing (فهرست کردن): در این قسمت موتورهای جستجو هر محتوایی را که در پروسه crawling پیدا کرده اند را ذخیره و سازماندهی می کنند. هر صفحه ای که ایندکس می شود آماده نمایش به عنوان سوالات مربوطه کاربران در موتورهای جستجو است.
Ranking(رتبه بندی نتایج): نمایش نتایج مناسب براساس محتوای ایندکس شده که بهترین پاسخ به سوالات جستجو کننده است. به زبان ساده تر نتایج جستجو را به نحوی مرتب می سازد که جواب بهتری برای جستجو کننده نمایش داده شود.
Crawling چیست؟
Crawling پروسه کشفی است که موتورهای جستجو انجام می دهند. موتورهای جستجو تیمی از ربات ها که به عنوان کراولرها(crawlers ) و عنکبوت ها (spiders) شناخته می شوند را برای کشف و اپدیت محتوا میفرستد. در این فرآیند همه بخشها شامل محتوا، عنوان، تصاویر، لینک و هرچیزی که دسترسی به آن برای ربات گوگل ممکن باشد بررسی خواهد شد.
رباتها شروع به بررسی چند صفحه وب می کنند. سپس به دنبال لینک های موجود در آن صفحه میروند تا اینکه URL های جدید را پیدا میکنند. این فرآیند به همین نحو ادامه پیدا میکند و کراولرها میتوانند هر لحظه محتوای جدیدی را کشف و آن را به ایندکس خود اضافه کنند. حال پایگاه داده ای بسیار عظیم از URL ها کشف و ذخیره شده است.
یکی از دلایل اهمیت بالای بک لینک در سئو نیز همین رفتار ربات ها برای شناسایی و ایندکس صفحات جدید است. ربات های گوگل معمولا در بازه های زمانی مختلف (متغیر برای هر صفحه) دوباره به همان صفحات رجوع کرده و تغییرات آن را بررسی میکنند.
Indexing چیست؟
فرآیند ایندکس کردن (Indexing) پس از پایان جستجوی کراولرها و اسپایدرها، آغاز میشود. موتور های جستجو سعی می کنند که اطلاعات فوق العاده زیادی را که در مرحله ی پیش به کشف کرده اند را دسته بندی و ذخیره کنند. و محتواهایی که به اندازه کافی مناسب هستند را برای کاربران عرضه کنند.
تصور کنید که وب یک کتابخانه بسیار بزرگ است و موتورهای جستجو تلاش میکنند یک فهرست کامل از کتابهای موجود، موضوع هرکدام و محتویات آنها تهیه کند. زمان ایندکس شدن یک صفحه همیشه به یک اندازه نیست و فاکتورهای مختلفی بر آن تاثیرگذار است.
هر بار که ربات به صفحه شما مراجعه کند اگر متوجه تغییراتی در آن صفحه؛ شامل تغییر محتوا یا اضافه شدن محتوا شود مجدد فرآیند ایندکس کردن گوگل برای آن صفحه انجام میشود.
تهیه لیست نتایج
نتایج جستجو هم برای کاربران و هم برای صاحبان وبسایت اهمیت زیادی دارد. وقتی یک کاربر جستجویی انجام میدهد، موتورهای جستجو به سراغ دیتابیس خود رفته تا اطلاعات مرتبطی را از بین تمام آن صفحاتی که قبلا ایندکس کرده بودند، ارائه کنند به امید اینکه بتواند پرسش کاربر را به درستی جواب بدهد.
این فرآیند بسیار پیچیده است. زیرا از میان صدها میلیون وبسایت و شاید میلیاردها صفحه موجود در وب باید نتایج مورد نظر شما را شناسایی کرده و نمایش دهد.
موتورهای جستجو الگوریتمهای مختلفی برای این فرآیند دارند و این الگوریتم ها همواره در حال ارتقا و بهینه سازی هستند.
برخی از مهمترین فاکتورهای رتبه بندی سایت در موتورهای جستجو
- میزان به روزرسانی سایت و نرخ تولید محتوا
- حجم صفحات سایت و سرعت بارگذاری
- میزان اعتبار و ارتباط موضوعی بک لینکهای سایت
- حجم محتوای صفحه و ارتباط موضوعی محتوای همه صفحات سایت
- نحوه استفاده از کلمات کلیدی در متن، عنوان، تصاویر و لینکها
- نوع نگراش محتوا و غلطهای املایی
- ساختار لینک سازی داخلی سایت
- طراحی ریسپانسیو سایت و نمایش صحیح در موبایل و تبلت
- اعتبار دامنه
- فعالیت در شبکه های اجتماعی
- رفتار کاربران، ارسال دیدگاه و امتیازدهی در صفحه
- تجربه کاربری و میزان رضایت کاربران (User Experience)
- ضریب خروج (Bounce rate ) از سایت و نرخ کلیک در نتایج گوگل