علت ایندکس نشدن سایت در گوگل

گاهی اوقات در وبسایت خود با این موضوع مواجه شده اید که پس از گذشت مدت زمان زیادی اما همچنان سایت خود را در نتایج جستجوها مشاهده نمی کنید اینکه شما ایندکس نشدن سایت را تجربه میکنید.

ابتدا از خود می پرسید چرا و بسیار ناراحت می شوید زیرا طبیعتا برای تولید محتوا، تصاویر، ویدئوهای سایت و همچنین سئوی آن بسیار زحمت کشیده و هزینه پرداخت کرده اید.

بهتر است نگرانی ها را از خود دور کنید و به دنبال این باشید که علت ایندکس نشدن سایت در گوگل چیست تا بتوانید هر چه سریع تر این مسئله را رفع کنید و ما سعی بر آن داریم در کیمیا هاست علت ایندکس نشدن سایت را به شما توضیح می دهیم.

دلیل عدم نمایش سایت در سرچ گوگل چیست؟

بخش ارورهای ایندکس سرچ کنسول با نام coverage در پیشخوان این ابزار قرار گرفته است. در این بخش ارورهای وب سایت به صورت کلی به نمایش گذاشته می شوند. error هایی که در گزارش coverage می توانید مشاهده نمایید در واقع ارورهایی هستند که روی عملکرد وب سایتتان به صورت کلی تاثیر می گذارند. در بخش coverage سرچ کنسول گوگل می توانید موارد مربوط به ۹۰ روز گذشته که باعث ایندکس نشدن سایت می شوند را به صورت کامل بررسی نمایید.

بهتر است که هر روز به سرچ کنسول خود مراجعه کرده و به بررسی ارورهای موجود در گزارش coverage بپردازید. در ادامه نیز اقدام به رفع آنها نمایید. ممکن است در ابتدا همه چیز خوب به نظر برسد و برایتان یکنواخت باشد. اما این کار باعث می شود که ارورهای مهم و تاثیرگذار وب سایت خود را خیلی سریع پیدا کرده و درصدد حل آن ها برآیید. اگر فرصت بررسی روزانه سرچ کنسول خود را ندارید نیز می توانید در کمتر از ۹۰ روز برای این کار اقدام کنید. بدین ترتیب قبل از از دست رفتن اطلاعات ۹۰ روز پیشین؛ می توان به رفع ارورهای حاضر اقدام کرد.

همانطور که پیش تر گفته شد دسته بندی ارورهای موجود در بخش coverage سرچ کنسول گوگل مشخص هستند. در ادامه به معرفی و نحوه رفع هر یک از آنها خواهیم پرداخت.

اثر ریدایرکت روی سئو سایت

۱. ایندکس نشدن سایت به دلیل خطاهای سایت

ارورهایی که در این دسته قرار می گیرند تمام وب سایتتان را تحت تاثیر قرار می دهند. به همین دلیل از خطاهای سایت به عنوان خطاهایی با اهمیت بالا یاد می شود. در ادامه انواع خطاهایی که می توانند عملکرد کل سایت را تحت تاثیر قرار دهند را به شما معرفی خواهیم نمود.

خطای DNS

ارورهای DNS برای مدیریت یک وب سایت از اهمیت بسیار زیادی برخوردارند و می توانند روی ایندکس نشدن سایت در گوگل نقش مهمی را ایفا کند. DNS مخفف عبارت Domain Name System به معنای سیستم نام دامنه است. خطاهای dns اولین و مهم ترین خطایی هستند که می توان به آن ها اشاره نمود.

داشتن مشکل dns به این معنا است که ربات گوگل به دلیل dns timeout یا مشکل dns lookup نمی تواند به دامنه شما متصل شود. همه دامنه ها به طور قطع توسط یک شرکت ارائه دهنده خدمات هاستیگ میزبانی می شوند. اگر با چنین مشکلی مواجه شدید، باید سریعا برای رفع آن اقدام کنید. چرا که در واقع اولین مرحله دسترسی ربات های گوگل به وب سایتتان همین مرحله است.

رفع خطا در سی پنل

رفع خطای dns

به منظور رفع خطای dns که نتیجه آن ایندکس نشدن سایت است، باید به تریتب زیر پیش بروید:

1. در گام اول بهتر است از ابزار URL inspection سرچ کنسول گوگل استفاده نمایید تا متوجه شوید ربات گوگل به چه شکلی صفحه مربوط به URL مورد نظر را crawl می کند.
   آموزش ابزار URL inspection گوگل سرچ کنسول  آموزش های dns
2. اگر گوگل نمی تواند صفحه مورد نظر را به درستی fetch کند، نیاز است که اقدامات بیشتری را داشت باشید. در این حالت می توانید به تنظیمات dns خود مراجعه کرده و مشکل را مورد بررسی قرار دهید.
3. بررسی کنید که آیا  که سرور میزبانتان ارور ۴۰۴ یا ۵۰۰ را نمایش می دهد یا خیر. در این حالت سرورتان به جای نمایش failed connection باید ارور ۴۰۴ (not found) یا ارور ۵۰۰ (server error) را نشان دهد. این ارورها در مقایسه با خطای dns دقیق تر است.

خطاهای سرور (server errors)

یکی دیگر از دلایل ایندکس نشدن سایت خطای سرور است. این خطا اغلب به این معنا است که زمان پاسخگویی سرور بیش از اندازه طولانی می شود. به همین دلیل با خطای سرور رو به رو می شوید. ربات های گوگل در هنگام خزیدن در وب سایت می توانند تنها یک بازه زمانی مشخص را برای بارگذاری سایت صبر کنند. اگر زمان بارگذاری بیش از اندازه طولانی شود، ربات گوگل دست از تلاش برای crawl کردن وب سایتتان برمی دارد.

خطاهای سرور با خطاهای dns تفاوت دارد. خطای dns به این معنا است که ربات های گوگل به دلیل مشکلات موجود حتی امکان پیدا کردن URL شما را نیز ندارد. در حالی که در خطاهای سرور، ربات های گوگل می توانند به یک وب سایت متصل شوند اما به دلیل وجود مشکلات نمی توانند صفحه را بارگذاری کنند. یکی از دلایل بروز خطای سرور ورود ترافیک بیش از اندازه به وب سایتتان است. برای جلوگیری از وقوع چنین اتفاقی باید اطمینان حاصل کنید که سرویس ارائه دهنده میزبانی وب شما می تواند در هنگام ورود ترافیک بالا، آنها را مدیریت نماید.

رفع خطای سرور

در هنگام بروز چنین اتفاقی در وب سایت خود باید از ابزار URL inspection استفاد کنید تا متوجه شوید که ربات های گوگل می توانند وب سایتتان را crawl کنند یا نه. اگر گوگل سرچ کنسول توانست بدون هیچ مشکلی صفحه اصلی وب سایت را پیدا کند، می توانید اطمینان پیدا کنید که گوگل امکان دسترسی به سایتتان را دارد. در غیر این صورت علت ایندکس شدن سایت خطای سرور است.

خرابی robots

در این حالت ربات گوگل نمی تواند فایل robots.txt را بازیابی کند و این امر منجر به ایندکس نشدن سایت می شود. شاید برایتان جالب باشد که بدانید تنها زمانی استفاده از فایل robots.txt ضرورت پیدا می کند که قصد داشته باشید دسترسی گوگل به برخی از صفحات خود را محدود کنید. اگر قصد دارید موتورهای جستجو تمامی اطلاعات موجود در وب سایتتان را ایندکس کند، نیازی به فایل robots.txt ندارید.

رفع خطای robots

اطمینان حاصل کنید که فایل robots.txt به شکل درستی پیکربندی شده باشد. بررسی کنید که در این فایل دسترسی گوگل به کدام یک از صفحات را محدود کرده اید. تمامی خطوط /:Diwallow نوشته شده در فایل robots.txt خود را بررسی نمود و اطمینان حاصل کنید که دسترسی همه لینک های تعیین شده به خواست خودتان محدود شده است.

رفع خطا در وردپرس

۲. ایندکس نشدن سایت به دلیل خطاهای URL

خطاهایی که در این دسته قرار می گیرند با خطاهای سایت تفاوت دارند. چرا که این خطاها تنها یک صفحه مشخص وب سایت را تحت تاثیر قرار می دهند و همانند ارورهای سایت به تمام وب سایت کاری ندارند. بسیاری از سایت ها ممکن است با حجم بسیار بالایی از ارورهای URL رو به رو شوند و همین امر باعث نگرانی آنها شود. اما خبر خوب این است که می توان با استفاده از بخش coverage سرچ کنسول جدید گوگل  ارورهای این بخش را به صورت دسته بندی شده مشاهده و اقدام به رفع آنها نمایید. بعد از رفع آن نیز می توان با استفاده از اعتبارسنجی آن در خصوص رفع این ارورها اطمینان حاصل کنید.

خطای ۴۰۴

این ارور در واقع یکی از گیج کننده ترین خطاهایی است که در بحث crawl و ایندکس نشدن سایت وجود دارد. زمانی که ربات های گوگل تلاش می کنند تا صفحه ای که آدرس آن دیگر معتبر نیست را crawl کنند، با ارور ۴۰۴ مواجه می شوند. حال با توجه به اینکه یک عامل نرم افزاری سبب این اتفاق شده است یا اینکه صفحه مورد نظر دیگر وجود ندارد، می توان این ارور را به دو دسته soft و hard تقسیم کرد.

خطای ۴۰۴ hard

این خطا یکی از پیچیده ترین و در عین حال ساده ترین اروری است که می توان با آن رو به رو شد. خطای ۴۰۴ زمانی اهمیت خود را بیشتر نشان می دهد که برای صفحات مهم وب سایت به نمایش گذاشته شود. این خطا زمانی خود را نشان می دهد که صفحه مورد نظر دیگر وجود خارجی نداشته باشد. در نتیجه زمانی که کاربر یا ربات های گوگل وارد آن صفحه می شوند با این ارور مواجه می شوند.

رفع خطای hard 404

به منظور رفع این خطا باید به طریق زیر عمل کنید:

1. در گام اول باید اطمینان حاصل کنید که صفحه مورد نظر را از طریق سیستم مدیریت محتوا منتشر کرده اید. محتوا نباید از این قسمت حذف شده باشد همچنین بررسی کنید در حالت پیشنویس قرار نگرفته باشد.
2. سپس لازم است که مطمئن شوید که URL مربوطه صحیح است و مشکلی ندارد.
3. در گام بعد باید بررسی کنید که این ارور در حالت www نشان داده می شود یا اینکه زمانی که بدون www جستجو می شود، مشاهده می شود. همچنین این موضوع را برای نسخه https یا نسخه http لینک مورد نظر نیز امتحان نمایید.
4. اگر می خواهید صفحه به صورت ریدایرکت نشان داده شود باید اطمینان حاصل کنید که لینک مورد نظر به یک صفحه مرتبط مناسب ریدایرکت ۳۰۱ داده می شود.

در ساده ترین حالت باید گفت که اگر صفحه مرده است، باید دوباره آن را زنده کنید. اگر هم نمی خواهید جان دوباره ای به آن صفحه بدهید، پس لازم است که آن را روی یک صفحه مناسب دیگر redirect کنید.

خطای soft 404

خطای soft 404 زمانی رخ می دهد که اعتبار آدرس یک صفحه به خاطر عاملی نرم افزاری اعتبار خود را از دست بدهد. این عامل می تواند رول هایی که در htaccess تعریف شده اند، افزونه ها یا هر مورد مشابه دیگر باشد. زمانی که یک کاربر با پیغام ۴۰۴ رو به رو می شود، متوجه این نکته خواهد شد که آن صفحه دیگر وجود ندارد. اما در خطای soft 404 ماجرا کمی متفاوت است.

رفع خطای soft 404

به منظور رفع مشکل مربوط به صفحاتی که دیگر وجود ندارند، باید موضوعات زیر را در نظر داشته باشید:

اگر صفحات شما زنده هستند اما خطای ۴۰۴ را نشان داده می شود، باید اقدامات زیر را داشته باشید:

شناخت و درک خطای soft 404 کمی دشوار است. چرا که صفحات دارای این خطا به نوعی میان یک صفحه عادی بودن و یک صفحه با خطای ۴۰۴ گیر افتاده اند. به همین دلیل باید اطمینان حاصل کنید که صفحات مهم و اصلی سایت شما خطای soft 404 را نشان نمی دهند.

خطای Access denied

زمانی با خطای دسترسی رد شد رو به رو می شوید که ربات گوگل به دلیل نداشتن مجوز دسترسی نتواند صفحه وب سایتتان را crawl کند. دلایلی که سبب بروز این خطا می شوند، عبارتند از:

مطمئنا زمانی که دسترسی ربات های گوگل به وب سایتتان محدود شده باشد، در زمینه ایندکس شدن محتوا دچار مشکل خواهید شد. به همین دلیل بررسی این موضوع و حل آن امری مهم است.

رفع خطای Access denied

به منظور رفع خطای access denied برای از بین بردن مشکل ایندکس نشدن سایت باید تمامی عواملی که دسترسی googlebot را محدود کرده اند، حذف نمایید. این عوامل عبارتند از:

مشکلات مربوط به access denied می تواند روی رتبه سایت شما تاثیر بگذارد. به همین دلیل بررسی ارورهای مربوط به مجوز دسترسی از اهمیت بسیار بالایی برخوردار است.

خطای Not followed

نباید این خطا را با ارور «nofollow» در بحث لینک دهی اشتباه بگیرید. مورد «not followed» در واقع به این معنا است که گوگل نمی تواند یک URL مشخص را دنبال کند. بیشتر اوقات این خطا به این دلیل پیش می آید که گوگل هنوز با خواندن محتوای Flash، کدهای Javascript و مقوله ریدایرکت شدن مشکل دارد. به همین دلیل اگر صفحات اصلی دچار مشکل not followed شده اند، باید برای رفع آن ها اقدام نمایید.

رفع خطای Not followed

گوگل ویژگی هایی را که موتورهای جستجو در هنگام crawling با آنها مشکل دارند را مشخص نموده است. این ویژگی ها عبارتند از:

اگر صفحه ای که با مشکل مواجه شده است یکی از ویژگی های بالا را دارد، پس دلیل خطای موجود را پیدا کرده اید. زمانی که محتوا و لینک های قرار گرفته در یک صفحه قابل دیدن نباشد، ربات های گوگل نیز نمی توانند آن صفحه را crawl کرده و همین امر سبب ایندکس نشدن سایت می شود. پس در خصوص حذف عامل مربوطه اقدام نمایید. مورد دیگری که به عنوان عامل خطای not followed به آن اشاره شد ریدایرکت شدن صفحه بود. در این خصوص باید کارهای زیر را انجام دهید:

• زنجیرهای ریدایرکت را بررسی کنید. اگر این زنجیر دارای هاپ یا جهش زیادی باشد، گوگل آن ها را دنبال نمی کند.
• در صورتی که فرصت کافی داشتید، به جای استفاده از redirect سعی کنید معماری وب سایت خود را بروز رسانی کنید.
• URL های ریدایرکت شده خود را در نقشه سایت قرار ندهید. در سایت مپ تنها باید URL نهایی قرار گرفته باشد.

خطاهای dns و server

در زیر مجموعه خطاهای URL می توان خطاهای dns و سرور را نیز دوباره در نظر گرفت. البته روش حل و مدیریت این دسته از ارورها برای یک URL مشخص با تمام یک وب سایت یکی است. به همین دلیل روش رفع این خطاها که باعث ایندکس نشدن سایت می شوند را در قسمت جداگانه ای توضیح نمی دهیم. اما تفاوت هایی که در این زمینه وجود دارد که باید آنها را در نظر گرفت. اگر شما یک پیکربندی مجزا برای URL های خاص دامنه خود دارید باید آنها را در دسته خطاهای URL قرار دهید.

در این مقاله از پایگاه دانش میزبان فا تلاش بر این بوده است که اطلاعات جامعی درباره انواع ارورهایی که می توانند علت ایندکس نشدن سایت در گوگل باشند را به شما معرفی نماییم. همچنین روش رفع هر یک از این خطاها نیز به شما آموزش داده شد. امید است که اطلاعات قرار گرفته در این مقاله برای شما مفید واقع شده باشد.