جستجوی گوگل چطور کار می‌کند

تقریباً هر توصیه‌ای که درباره سئو می‌خوانید فرض می‌گیرد شما از قبل می‌دانید گوگل پشت صحنه چه کار می‌کند. ارزشش را دارد که ده دقیقه وقت بگذارید و واقعاً یاد بگیرید، چون بیشتر اشتباه‌های افراد تازه‌کار از این تصور می‌آید که گوگل کارش را در یک مرحله انجام می‌دهد، در حالی که سه مرحله دارد.

سه مرحله جدا، نه یکی

گوگل فرایند خودش را در سه مرحله توصیف می‌کند: خزش (crawling)، ایندکس (indexing) و ارائه نتیجه (serving). یک صفحه می‌تواند از یک مرحله عبور کند و در مرحله بعد بماند؛ به همین دلیل است که «صفحه‌ام در گوگل نیست» تقریباً هیچ‌وقت فقط یک جواب ندارد.

خزش یعنی گوگل صفحه شما را دانلود می‌کند. برنامه‌ای خودکار به نام Googlebot به آدرس‌های وب سر می‌زند و هرچه آنجا هست را می‌گیرد، همان‌طور که مرورگر شما وقتی لینکی را باز می‌کنید این کار را می‌کند.

ایندکس یعنی گوگل آنچه دانلود کرده را می‌خواند و تصمیم می‌گیرد صفحه درباره چیست — متن، تصویرها، تیترها — و بعد آن را در پایگاه‌داده عظیمی به نام ایندکس بایگانی می‌کند. اگر چند آدرس محتوای مشابهی نشان بدهند، گوگل در همین مرحله تصمیم می‌گیرد کدام نسخه اصلی است.

ارائه نتیجه چیزی است که وقتی کسی جستجو می‌کند اتفاق می‌افتد. گوگل در ایندکس خودش می‌گردد — نه در وبِ زنده — و نتیجه‌هایی را برمی‌دارد که فکر می‌کند به آن پرسش جواب می‌دهند.

یک نانوایی با یک وب‌سایت را تصور کنید. وقتی Googlebot صفحه ساعت کاری را می‌گیرد، این خزش است. وقتی گوگل می‌فهمد این صفحه درباره نانوایی‌ای در یک شهر مشخص است و ذخیره‌اش می‌کند، این ایندکس است. وقتی کسی «نانوایی نزدیک من» را می‌نویسد و آن مغازه را می‌بیند، این ارائه نتیجه است.

کجا واقعاً خراب می‌شود

هر مرحله به شکل خودش شکست می‌خورد، و راه‌حل هر بار فرق می‌کند.

گوگل اصلاً صفحه را پیدا نمی‌کند. Googlebot آدرس‌های تازه را بیشتر با دنبال‌کردن لینک از صفحه‌هایی که از قبل می‌شناسد کشف می‌کند. صفحه‌ای که هیچ لینکی به آن نمی‌رسد و در هیچ نقشه سایتی نیست، ممکن است هرگز کشف نشود. این رایج‌ترین دلیل دیده‌نشدن یک سایت کاملاً تازه است.

گوگل از گرفتن صفحه منع شده است. فایلی به نام robots.txt می‌تواند به Googlebot بگوید بخش‌هایی از سایت را نبیند. خیلی راحت می‌شود بیشتر از آنچه قصد داشتید را مسدود کرد، و سایت در همان حال برای شما کاملاً عادی به‌نظر می‌رسد.

گوگل صفحه را گرفته اما تصمیم گرفته ایندکسش نکند. این برای خیلی‌ها غافلگیرکننده است و ارزش دارد صریح گفته شود: گوگل قول نمی‌دهد هر صفحه‌ای را که می‌خزد ایندکس کند. صفحه‌های کم‌مایه، تکراری یا کم‌ارزش مرتباً خزیده می‌شوند و بعد کنار گذاشته می‌شوند.

ایندکس شده اما هیچ‌وقت نشان داده نمی‌شود. بودن در ایندکس فقط صفحه را واجد شرایط می‌کند. اینکه برای یک جستجوی مشخص ظاهر بشود یا نه، پرسش جداگانه‌ای است — و بقیه سئو دقیقاً درباره همین است.

چه کاری انجام دهید

• مطمئن شوید هر صفحه‌ای که برایتان مهم است با کلیک‌کردن روی لینک‌ها از صفحه اصلی قابل دسترسی است. اگر یک انسان نتواند با کلیک به آنجا برسد، Googlebot هم احتمالاً نمی‌تواند.
• یک نقشه سایت XML منتشر کنید — فهرستی ماشین‌خوان از صفحه‌هایتان — تا گوگل راه دومی برای کشف آن‌ها داشته باشد.
• سایتتان را در Google Search Console تأیید کنید؛ ابزار رایگانی که گزارش می‌دهد کدام صفحه‌هایتان ایندکس شده‌اند و بقیه چرا نشده‌اند. این اطلاعات جای دیگری وجود ندارد.
• روی صفحه‌ای که غایب است ابزار URL Inspection در Search Console را اجرا کنید. به شما می‌گوید صفحه واقعاً تا کدام‌یک از آن سه مرحله پیش رفته است.
• به گوگل زمان بدهید. خزش و ایندکس فوری نیستند و یک صفحه تازه ممکن است چند روز طول بکشد.

اشتباه‌های رایج

این تصور که باید صفحه‌ها را به گوگل «ثبت» کنید. لازم نیست. گوگل صفحه‌ها را با دنبال‌کردن لینک پیدا می‌کند. فرستادن نقشه سایت به کشف کمک می‌کند، اما نه صفی برای پیوستن هست و نه هزینه‌ای برای پرداختن.

خواندن «خزیده شد» به‌معنای «رتبه می‌گیرد». این‌ها سه مرحله با هم فاصله دارند. صفحه‌ای می‌تواند امروز خزیده شود، هفته بعد ایندکس شود، و باز هم هرگز برای یک جستجوی رقابتی ظاهر نشود.

این باور که ابزارهای پولی سرعتش را زیاد می‌کنند. هیچ چیزی که بخرید باعث نمی‌شود گوگل صفحه‌ای را سریع‌تر ایندکس کند. سرویس‌هایی که «ایندکس فوری» می‌فروشند، چیزی را می‌فروشند که در کنترلشان نیست.

منابع: راهنمای کامل نحوه کار جستجوی گوگل و اصول جستجوی گوگل.