نقشه سایت و robots.txt

دو فایل کوچک در ریشه تقریباً هر وب‌سایتی قرار دارند و تعیین می‌کنند گوگل اجازه دارد به چه چیزی نگاه کند و از وجود چه چیزی خبر داشته باشد. این‌ها لوله‌کشی سئو هستند: تا وقتی یکی‌شان اشتباه نباشد کسی متوجهشان نمی‌شود، و آن‌وقت هیچ چیز دیگری کار نمی‌کند.

هر فایل برای چیست

معمولاً این دو را کنار هم می‌آورند، و همین پنهان می‌کند که کارشان دقیقاً برعکس هم است.

robots.txt یک فایل متنی ساده در آدرس yoursite.com/robots.txt است که به بازدیدکننده‌های خودکار — ربات‌های موتور جستجو — می‌گوید کدام بخش‌های سایت را درخواست نکنند. مثل تابلوی «لطفاً وارد نشوید» است. این یک درخواست است، نه قفل: چیزی را رمزگذاری نمی‌کند و هر کسی می‌تواند فایل را بخواند.

sitemap.xml فهرستی ماشین‌خوان از صفحه‌هایی است که می‌خواهید پیدا شوند. مثل یادداشت «همه‌چیز اینجاست» است. به گوگل کمک می‌کند صفحه‌ها را کشف کند، به‌ویژه آن‌هایی که لینک کمی به آن‌ها می‌رسد.

برای سایت یک نانوایی کوچک، robots.txt ممکن است از ربات‌ها بخواهد صفحه‌های پرداخت و حساب کاربری را رد کنند، در حالی که نقشه سایت صفحه اصلی، منو، ساعت کاری و همه نوشته‌های وبلاگ را فهرست می‌کند.

در عمل چطور رفتار می‌کنند

مهم‌ترین نکته درباره robots.txt این است که چه کاری نمی‌کند. مسدودکردن یک صفحه جلوی گرفتن آن توسط گوگل را می‌گیرد — اما به‌طور قابل‌اتکا صفحه را از نتایج جستجو بیرون نگه نمی‌دارد. اگر سایت‌های دیگر به آن آدرس لینک بدهند، گوگل می‌تواند بدون اینکه هرگز آن را خوانده باشد، همچنان فهرستش کند. برای اینکه واقعاً صفحه‌ای از نتایج بیرون بماند از تگ noindex روی خودِ صفحه استفاده می‌کنید، و برای اینکه گوگل آن تگ را ببیند باید اجازه خزیدن صفحه را داشته باشد. مسدودکردن یک صفحه در robots.txt و هم‌زمان گذاشتن noindex روی آن، اثر noindex را از بین می‌برد.

نقشه سایت ملایم‌تر است. نقشه سایت یک راهنمایی است، نه دستور. آوردن یک صفحه در آن تضمین نمی‌کند گوگل آن را بخزد، و قطعاً ایندکس‌شدن را تضمین نمی‌کند — گوگل جداگانه تصمیم می‌گیرد. به همان اندازه، صفحه‌ای که در نقشه سایت شما نیست هم می‌تواند از راه لینک‌های معمولی پیدا و ایندکس شود.

هر دو فایل اختیاری‌اند. یک سایت کوچک با لینک‌دهی خوب می‌تواند بدون هیچ‌کدامشان کاملاً خوب رتبه بگیرد.

چه کاری انجام دهید

• همین حالا در مرورگرتان به yoursite.com/robots.txt سر بزنید و بخوانید چه چیزی آنجاست. خیلی از سایت‌سازها به‌صورت خودکار یکی می‌سازند، و همیشه آن چیزی نیست که خودتان انتخاب می‌کردید.
• داخل robots.txt و در خط جداگانه‌ای لینک نقشه سایت را اضافه کنید: Sitemap: https://yoursite.com/sitemap.xml.
• نقشه سایت را یک‌بار در Google Search Console و در بخش Sitemaps ثبت کنید. بعد از آن Search Console گزارش می‌دهد چند آدرس از آن کشف شده است.
• نقشه سایت را به‌صورت خودکار تولید کنید، نه دستی — فهرستی که با دست نوشته شود همان روزی که چیز تازه‌ای منتشر می‌کنید از رده خارج می‌شود.
• فقط صفحه‌هایی را فهرست کنید که می‌خواهید ایندکس شوند. نقشه سایتی پر از ریدایرکت، صفحه خطا و صفحه‌های noindex سیگنال‌های متناقض می‌فرستد.

اشتباه‌های رایج

فرستادن فایل مسدودکننده محیط توسعه به محیط اصلی. سایت‌های در حال ساخت اغلب طوری تنظیم می‌شوند که همه ربات‌ها را مسدود کنند. کپی‌شدن آن فایل دوخطی روی سایت زنده یکی از رایج‌ترین اشتباه‌های فاجعه‌بار سئو است، و سایت در تمام مدت کاملاً عادی به‌نظر می‌رسد.

استفاده از robots.txt برای پنهان‌کردن محتوای خصوصی. این فایل عمومی است و دقیقاً فهرست می‌کند چه چیزی را نمی‌خواستید کسی ببیند. هر چیزی که واقعاً خصوصی است به ورود با رمز نیاز دارد، نه به یک درخواست مؤدبانه.

انتظار اینکه نقشه سایت رتبه را درست کند. نقشه سایت به گوگل کمک می‌کند صفحه‌ها را پیدا کند. هیچ ربطی به این ندارد که آیا آن صفحه‌ها شایسته رتبه‌گرفتن هستند یا نه.

منابع: معرفی robots.txt و آشنایی با نقشه سایت.