خطای Blocked by robots.txt در گوگل سرچ کنسول | بررسی کامل

اگر در گوگل سرچ کنسول با خطای Blocked by robots.txt مواجه شدی، یعنی فایل robots.txt سایتت به گوگل گفته که اجازه خزش (Crawl) بعضی URLها را ندارد.
در نتیجه:

• گوگل نمی‌تواند آن صفحه را بررسی کند

• صفحه ایندکس نمی‌شود یا اطلاعاتش ناقص می‌ماند

• و اگر اشتباه تنظیم شده باشد، می‌تواند مستقیماً به سئو ضربه بزند

راه‌حل معمول این است که:

1. فایل robots.txt را بررسی کنی

2. ببینی کدام دستور (Disallow) جلوی گوگل را گرفته

3. در صورت نیاز، آن مسیر را آزاد کنی یا قانون را اصلاح کنی

اگر دقیقاً همین را می‌خواستی، جواب را گرفتی.
حالا اگر می‌خواهی بفهمی چرا این خطا خطرناک می‌شود، چه وقت طبیعی است، و چطور حرفه‌ای مدیریتش کنی، ادامه بده.

خطای Blocked by robots.txt دقیقاً یعنی چه؟

robots.txt یک فایل متنی ساده است که در ریشه سایت قرار می‌گیرد و به ربات‌های موتور جستجو می‌گوید:

کجا اجازه ورود داری و کجا نه

وقتی گوگل در سرچ کنسول پیام Blocked by robots.txt را نشان می‌دهد، یعنی:

• ربات Googlebot خواسته به یک URL دسترسی پیدا کند

• اما طبق قوانین robots.txt اجازه نداشته

نکته مهم اینجاست:
Blocked بودن همیشه بد نیست؛ ولی خیلی وقت‌ها ناخواسته اتفاق می‌افتد.

چرا این خطا در سرچ کنسول ظاهر می‌شود؟

دلایل رایج را ساده و شفاف در جدول ببین:

آیا Blocked by robots.txt همیشه مشکل سئو است؟

نه.
اصل حرف اینه 👇
بستگی دارد چه چیزی بلاک شده باشد.

حالت‌های طبیعی (مشکلی نیست):

• صفحات ادمین (wp-admin)

• صفحات جستجوی داخلی

• فیلترهای بی‌ارزش

• فایل‌های موقت یا تکراری

حالت‌های خطرناک:

• صفحات محصول

• مقالات بلاگ

• دسته‌بندی‌ها

• لندینگ‌های سئوشده

• فایل‌های CSS و JS مهم

اگر یکی از این‌ها بلاک شده باشد، باید سریع بررسی شود.

مقاله مرتبط 👌 : خطای Discovered currently not indexed در گوگل کنسول چیست؟

چطور بفهمیم کدام صفحه بلاک شده؟

در گوگل سرچ کنسول:

1. وارد Pages یا Indexing شو

2. روی خطای Blocked by robots.txt کلیک کن

3. لیست URLها را ببین

4. یکی را باز کن و روی Inspect URL بزن

گوگل دقیقاً بهت می‌گوید:

این URL به خاطر robots.txt قابل خزش نیست

بررسی فایل robots.txt (قدم به قدم)

User-agent: *
Disallow: /

یعنی: هیچ رباتی اجازه دیدن هیچ صفحه‌ای را ندارد (فاجعه کامل برای سئو)

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

چطور خطای Blocked by robots.txt را رفع کنیم؟

روش عملی و امن:

1. مشخص کن صفحه بلاک‌شده مهم هست یا نه

2. اگر مهم نیست → رهایش کن

3. اگر مهم است:

   • دستور Disallow مربوطه را حذف یا اصلاح کن

4. فایل robots.txt را ذخیره کن

5. در سرچ کنسول روی Validate Fix بزن

گوگل معمولاً طی چند روز دوباره بررسی می‌کند.

مقاله پیشنهادی:  How We Fix The ‘Blocked by robots.txt’ Error in Google Search Console

تفاوت Blocked by robots.txt با noindex

خیلی‌ها این دوتا را قاطی می‌کنند.

نکته حرفه‌ای:
اگر می‌خواهی صفحه‌ای ایندکس نشود، noindex بهتر از robots.txt است.

جمع‌بندی کوتاه و کاربردی

اگر بخواهم خیلی خلاصه بگویم:

• Blocked by robots.txt یعنی گوگل را خودت راه نداده‌ای

• گاهی درست است، گاهی یک اشتباه خطرناک

• همیشه بررسی کن چه URLی بلاک شده

• برای صفحات مهم، robots.txt جای مناسبی برای بستن نیست