تفاوت خزش (Crawling)، ایندکس (Indexing) و رتبه‌بندی (Ranking) چیست؟

این مطلب نسخه خلاصه‌شده‌ای از یکی از راهنماهای تخصصی وبتیک است.

وقتی یک صفحه از سایت در گوگل دیده نمی‌شود، خیلی‌ها سریع نتیجه می‌گیرند که «صفحه رتبه نگرفته». اما همیشه مشکل Ranking نیست. ممکن است گوگل هنوز صفحه را Crawl نکرده باشد، ممکن است صفحه Crawl شده باشد اما وارد Index نشده باشد، یا ممکن است صفحه کاملاً Index شده باشد ولی برای عبارت موردنظر شما جایگاه مناسبی نداشته باشد.

به زبان ساده، خزش (Crawling) مرحله‌ای است که Googlebot صفحه را پیدا و دریافت می‌کند. ایندکس (Indexing) مرحله‌ای است که گوگل محتوای صفحه را پردازش می‌کند و درباره نگهداری آن در Index تصمیم می‌گیرد. رتبه‌بندی (Ranking) هم‌زمانی مطرح می‌شود که کاربر چیزی را جستجو می‌کند و گوگل باید از میان صفحات موجود، نتایج مناسب‌تر را انتخاب و مرتب کند.

قبل از Crawling، گوگل باید URL را پیدا کند

اگر این URL در هیچ صفحه‌ای لینک نشده باشد و در Sitemap هم وجود نداشته باشد، ممکن است کشف آن برای Google سخت‌تر شود. صفحه از دید کاربر وجود دارد، ولی موتور جستجو هنوز باید راهی برای رسیدن به آن پیدا کند.

Crawling چیست؟

وقتی Googlebot یک URL را Crawl می‌کند، مشابه یک مرورگر به سرور درخواست می‌فرستد و پاسخ دریافت می‌کند. اگر صفحه سالم باشد، ممکن است پاسخ HTTP چیزی مثل 200 OK باشد و محتوای HTML در اختیار Google قرار بگیرد.

اما Crawl شدن به‌معنی تأیید کیفیت صفحه نیست. Googlebot ممکن است یک صفحه بسیار خوب را Crawl کند و در همان سایت یک URL کم‌ارزش یا Duplicate را هم بررسی کند. وظیفه این مرحله بیشتر پیدا کردن و دریافت محتواست، نه تصمیم نهایی درباره رتبه.

یک مثال ساده از Crawling

Googlebot هنگام Crawl مقاله Indexing لینک جدید را می‌بیند. URL را کشف می‌کند و در یکی از Crawlهای بعدی به آن مراجعه می‌کند. اگر دسترسی محدود نشده باشد و سرور درست پاسخ دهد، محتوای صفحه دریافت می‌شود.

Indexing چیست؟

بعد از Crawl شدن، گوگل تلاش می‌کند بفهمد صفحه درباره چیست. این مرحله Indexing نام دارد.

در Indexing فقط URL ذخیره نمی‌شود. Google متن، عنوان، تصاویر، ویدئوها و بخش‌های مختلف صفحه را تحلیل می‌کند و تلاش می‌کند موضوع و محتوای اصلی را تشخیص دهد. گوگل در مستندات رسمی خود توضیح می‌دهد که در این مرحله، عناصر مهمی مثل ، Alt تصاویر و محتوای صفحه بررسی می‌شوند.

پس Indexing فقط «ذخیره کردن صفحه» نیست؛ مرحله‌ای است که Google درباره هویت صفحه، موضوع آن و نسخه اصلی آن تصمیم می‌گیرد.

Crawled – currently not indexed یعنی چه؟

یعنی Googlebot صفحه را Crawl کرده، اما Google فعلاً آن را وارد Index نکرده است.

Canonical چه نقشی در Indexing دارد؟

Google نیازی ندارد هر دو را به‌عنوان دو صفحه مستقل در Index نگه دارد. بنابراین ممکن است یکی را به‌عنوان Canonical انتخاب کند و URL دیگر را نسخه جایگزین در نظر بگیرد.

چرا یک صفحه می‌تواند برای چند Query رتبه‌های متفاوت داشته باشد؟

در Query سوم ممکن است کاربر بیشتر دنبال صفحه فروشگاهی باشد تا مقاله آموزشی. بنابراین حتی اگر مقاله شما از نظر کیفیت عالی باشد، فرمت صفحه ممکن است با Intent اصلی Search هماهنگ نباشد.

Search Intent چرا در Ranking مهم است؟

این یکی از مهم‌ترین تفاوت‌های Ranking با Indexing است. صفحه ممکن است کاملاً Index شده باشد، اما Candidate خوبی برای Query موردنظر نباشد.

یک مثال کامل از Crawl تا Rank

در مرحله اول Googlebot یکی از این لینک‌ها را می‌بیند و URL جدید را کشف می‌کند. بعد صفحه را Crawl می‌کند و محتوای آن را دریافت می‌کند.

در مرحله بعد Google محتوای صفحه را تحلیل می‌کند، سئو Title و هدینگ‌ها را بررسی می‌کند، Canonical را می‌سنجد و اگر صفحه مناسب باشد آن را وارد Index می‌کند.

Sitemap بیشتر مربوط به کدام مرحله است؟

وجود URL در Sitemap به Google کمک می‌کند صفحه را پیدا کند، اما تضمین نمی‌کند آن را Index کند یا به آن رتبه بدهد.

Internal Linking فقط برای Ranking نیست

مثلاً اگر مقاله «Ranking چیست» از صفحه مادر «موتور جستجو چیست و چگونه کار میکند؟» لینک بگیرد، این لینک هم مسیر Crawl ایجاد می‌کند و هم رابطه موضوعی بین دو صفحه را روشن می‌کند.

Search Console چطور کمک می‌کند بفهمیم مشکل کجاست؟

یک صفحه ممکن است در URL Inspection کاملاً Index شده باشد، اما در عملکرد Report فقط برای چند Query کم اهمیت Impression بگیرد. این یعنی مشکل دیگر Indexing نیست؛ باید Ranking را بررسی کنید.

جمع بندی

Indexing یعنی Google محتوای صفحه را پردازش کند و درباره نگهداری آن در Index تصمیم بگیرد.

Crawl شدن تضمین نمی‌کند صفحه Index شود. Index شدن تضمین نمی‌کند صفحه رتبه خوبی بگیرد. Ranking هم یک عدد ثابت برای URL نیست و به Query بستگی دارد.

مطالعه نسخه کامل

برای مطالعه توضیحات کامل، مثال‌ها و جزئیات بیشتر، تفاوت خزش (Crawling)، ایندکس (Indexing) و رتبه‌بندی (Ranking) چیست؟ را در وبتیک بخوانید.