موتورهای جستجو چگونه کار می‌کنند؟ Crawling و Indexing چیست؟

۱۱ اردیبهشت, ۱۴۰۰

۰ 81 زمان تقریبی مطالعه 3 دقیقه

دانستن اینکه کاربران چطور از موتور جستجو استفاده می‌کنند و موتورهای جستجو چگونه کار می‌کنند و چطور صفحات وب را رتبه بندی می‌کنند، می‌تواند مهمترین معیار ما برای شناخت تکنیک‌های سئو و بهینه سازی سایت باشد.

موتورهای جستجو درحقیقت، ماشین‌های پاسخ‌دهی هستند. موتور جستجو یک سیستم نرم‌افزاری است که وظیفه اصلی آن پیدا کردن محتوا (اعم از محتوای متنی، صوتی، عکس، ویدئو و هر فایل دیگری) در شبکه جهانی وب (WWW) است؛ محتوایی که بیشترین مطابقت را با کوئری شما داشته باشد. (کوئری همان عبارتی است که کاربر جستجو می‌کند)

یک موتور جستجو از دو بخش اصلی تشکیل شده است: پایگاه داده اطلاعات و الگوریتم‌ها.

موتورهای جستجو چگونه کار می‌کنند؟

برای کشف، دسته‌بندی و رتبه‌بندی میلیون‌ها وبسایتی که در فضای اینترنت وجود دارند، موتورهای جستجو باید ابتدا بطور دقیق بفهمند چه نوع اطلاعاتی در دسترس است و در گام بعدی، آن اطلاعات را بطور منطقی به کاربران ارائه دهند. این فرآیند ازطریق ۳ اقدام بنیادی انجام می‌پذیرد:

Crawling (خزیدن): خزش در سایت ها برای پیدا کردن محتوا، و به هر لینک، URL و کدی که برسند آن را بررسی می‌کنند.

Indexing (فهرست کردن): در این قسمت موتورهای جستجو هر محتوایی را که در پروسه crawling پیدا کرده اند را ذخیره و سازماندهی می کنند. هر صفحه ای که ایندکس می شود آماده نمایش به عنوان سوالات مربوطه کاربران در موتورهای جستجو است.

موتورهای جستجو چگونه کار می‌کنند

Ranking(رتبه بندی نتایج): نمایش نتایج مناسب براساس محتوای ایندکس شده که بهترین پاسخ به سوالات جستجو کننده است. به زبان ساده تر نتایج جستجو را به نحوی مرتب می سازد که جواب بهتری برای جستجو کننده نمایش داده شود.

Crawling چیست؟

Crawling پروسه کشفی است که موتورهای جستجو انجام می دهند. موتورهای جستجو تیمی از ربات ها که به عنوان کراولرها(crawlers ) و عنکبوت ها (spiders) شناخته می شوند را برای کشف و اپدیت محتوا می‌فرستد. در این فرآیند همه بخش‌ها شامل محتوا، عنوان، تصاویر، لینک و هرچیزی که دسترسی به آن برای ربات گوگل ممکن باشد بررسی خواهد شد.

ربات‌ها شروع به بررسی چند صفحه وب می کنند. سپس به دنبال لینک های موجود در آن صفحه می‌روند تا اینکه URL های جدید را پیدا می‌کنند. این فرآیند به همین نحو ادامه پیدا می‌کند و کراولرها می‌توانند هر لحظه محتوای جدیدی را کشف و آن را به ایندکس خود اضافه کنند. حال پایگاه داده ای بسیار عظیم از URL ها کشف و ذخیره شده است.

موتورهای جستجو چگونه کار می‌کنند

یکی از دلایل اهمیت بالای بک لینک در سئو نیز همین رفتار ربات ها برای شناسایی و ایندکس صفحات جدید است. ربات های گوگل معمولا در بازه های زمانی مختلف (متغیر برای هر صفحه) دوباره به همان صفحات رجوع کرده و تغییرات آن را بررسی می‌کنند.

بازاریابی موتورهای جستجو چیست؟ تفاوت SEO و SEM در کجاست ؟

Indexing چیست؟

فرآیند ایندکس کردن (Indexing) پس از پایان جستجوی کراولرها و اسپایدرها، آغاز می‌شود. موتور های جستجو سعی می کنند که اطلاعات فوق العاده زیادی را که در مرحله ی پیش به کشف کرده اند را دسته بندی و ذخیره کنند. و محتواهایی که به اندازه کافی مناسب هستند را برای کاربران عرضه کنند.

تصور کنید که وب یک کتابخانه بسیار بزرگ است و موتورهای جستجو تلاش می‌کنند یک فهرست کامل از کتاب‌های موجود، موضوع هرکدام و محتویات آنها تهیه کند. زمان ایندکس شدن یک صفحه همیشه به یک اندازه نیست و فاکتورهای مختلفی بر آن تاثیرگذار است.

هر بار که ربات به صفحه شما مراجعه کند اگر متوجه تغییراتی در آن صفحه؛ شامل تغییر محتوا یا اضافه شدن محتوا شود مجدد فرآیند ایندکس کردن گوگل برای آن صفحه انجام می‌شود.

تهیه لیست نتایج

نتایج جستجو هم برای کاربران و هم برای صاحبان وبسایت اهمیت زیادی دارد. وقتی یک کاربر جستجویی انجام می‌دهد، موتورهای جستجو به سراغ دیتابیس خود رفته تا اطلاعات مرتبطی را از بین تمام آن صفحاتی که قبلا ایندکس کرده بودند، ارائه کنند به امید اینکه بتواند پرسش کاربر را به درستی جواب بدهد.

این فرآیند بسیار پیچیده است. زیرا از میان صدها میلیون وبسایت و شاید میلیاردها صفحه موجود در وب باید نتایج مورد نظر شما را شناسایی کرده و نمایش دهد.

موتورهای جستجو الگوریتم‌های مختلفی برای این فرآیند دارند و این الگوریتم ها همواره در حال ارتقا و بهینه سازی هستند.