ایندکس (Indexing) چیست؟ چرا صفحات سایت در گوگل ایندکس نمی‌شوند؟

این مطلب نسخه خلاصه‌شده‌ای از یکی از راهنماهای تخصصی وبتیک است.

ممکن است یک صفحه را منتشر کنید، لینک داخلی بدهید، آن را داخل Sitemap قرار دهید و حتی ببینید Googlebot صفحه را Crawl کرده است؛ اما باز هم URL در نتایج گوگل دیده نشود.

به زبان ساده، Indexing فرایندی است که طی آن گوگل محتوای یک صفحه Crawl شده را پردازش و تحلیل می‌کند و در صورت مناسب بودن، اطلاعات آن را در Google Index ذخیره می‌کند.

Indexing یکی از مراحل مهم سئو است؛ چون تا زمانی که یک صفحه وارد Index گوگل نشود، عملاً امکان حضور عادی آن در نتایج جستجو وجود ندارد. برای درک جایگاه Indexing در کنار Crawling، Ranking و سایر بخش‌های SEO، می‌توانید مقاله سئو چیست را هم ببینید.

Indexing چیست؟

در واقع Crawl فقط به گوگل امکان می‌دهد صفحه را دریافت کند؛ Indexing مرحله‌ای است که در آن محتوای دریافت شده تفسیر، دسته‌بندی و در صورت انتخاب، ذخیره می‌شود.

«برای جزئیات بیشتر درباره این مرحله، مستندات گوگل درباره Indexing توضیح می‌دهد که یک صفحه زمانی Indexed محسوب می‌شود که Googlebot آن را بررسی کرده، محتوایش تحلیل شده و اطلاعات آن در Google Index ذخیره شده باشد.»

Indexing

گوگل محتوای صفحه را پردازش می‌کند و تصمیم می‌گیرد آیا اطلاعات آن در Search Index ذخیره شود یا نه.

یعنی Googlebot صفحه را بررسی کرده، اما گوگل در حال حاضر آن را وارد Index نکرده است.

این تفاوت بسیار مهم است، چون اگر صفحه Crawl نشده باشد باید دنبال مشکل Crawl بگردید؛ اما اگر Crawl شده و Index نشده، مسیر بررسی متفاوت می‌شود.

Canonicalization چیست؟

به همین دلیل ممکن است URL خودتان Index نشده باشد ولی Google URL دیگری را به‌عنوان Canonical انتخاب کرده باشد.

noindex چیست؟

گوگل توضیح می‌دهد وقتی Googlebot صفحه را Crawl کند و noindex را ببیند، آن URL را از نتایج Search حذف می‌کند.

1. صفحه هنوز Crawl نشده است

این یعنی گوگل URL را می‌شناسد اما هنوز آن را Crawl نکرده است. راهنمای Page Indexing نیز این وضعیت را از Crawled – currently not indexed جدا می‌کند.

• صفحه لینک داخلی دارد؟

• URL داخل Sitemap هست؟

• سرور پایدار است؟

• تعداد URLهای سایت بی دلیل زیاد نشده؟

• robots.txt مانع Crawl نیست؟

• صفحه در ساختار سایت دفن نشده؟

3. صفحه noindex است

• تنظیم اشتباه افزونه سئو

• Noindex شدن دسته یا نوشته

• باقی ماندن تنظیمات Staging

• استفاده اشتباه از Meta Robots

کد صفحه و URL Inspection را بررسی کنید، اگر صفحه باید Index شود، نباید Rule فعال noindex داشته باشد.

8. صفحه Redirect است

اگر URL به صفحه دیگری Redirect شود، معمولاً قرار نیست همان URL مبدأ به‌عنوان صفحه مستقل Index شود.

Crawled – currently not indexed چیست؟

یعنی Googlebot صفحه را Crawl کرده، اما صفحه در حال حاضر در Index نیست.

• Crawl انجام شده؛

• دسترسی اولیه وجود داشته؛

• اما مرحله Indexing به نتیجه Index شدن نرسیده.

درخواست Indexing چیست؟

گوگل تضمین نمی‌کند یک URL چه زمانی یا اصلاً Crawl و Index شود، بنابراین اگر یک صفحه مشکل بنیادی دارد، 20 بار درخواست Indexing زدن مشکل را حل نمی‌کند.

آیا همه صفحات سایت باید Index شوند؟

• صفحه Login

• Cart

• Checkout

• صفحات داخلی خاص

• بعضی Search Result Pages

• URLهای موقت

ممکن است نیازی به Index نداشته باشند، به همین دلیل در Page Indexing Report هر URL Non-indexed الزاماً یک مشکل نیست. خود Google نیز در راهنمای این گزارش تأکید می‌کند که Not indexed لزوماً بد نیست و باید دلیل هر وضعیت بررسی شود.

چقدر طول می‌کشد یک صفحه Index شود؟

پاسخ ثابت ندارد، ممکن است یک صفحه زود Index شود و صفحه دیگری مدت بیشتری زمان ببرد.

چرا صفحه Index شده ولی در گوگل پیدایش نمی‌کنم؟

Index شدن و Ranking یک چیز نیستند، ممکن است Search Console بگوید URL Indexed است ولی هنگام جستجوی Keyword مدنظر، صفحه را پیدا نکنید.

جمع بندی

Indexing مرحله‌ای است که Google بعد از Crawl تلاش می‌کند محتوای یک صفحه را درک و در صورت مناسب بودن در Search Index ذخیره کند.

و بعد از اینکه صفحه Index شد، سؤال بعدی این است که چرا یک صفحه بالاتر از صفحه دیگر نمایش داده می‌شود.

مطالعه نسخه کامل

برای مطالعه توضیحات کامل، مثال‌ها و جزئیات بیشتر، ایندکس (Indexing) چیست؟ چرا صفحات سایت در گوگل ایندکس نمی‌شوند؟ را در وبتیک بخوانید.