فهرست مطالب
اگر توی Google Search Console با پیغام Submitted URL has crawl issue روبهرو شدی، یعنی گوگل خودش هم دقیق نمیدونه چه بلایی سر اون URL اومده، فقط مطمئنه که نتونسته بهدرستی بخزدش.
نه ۴۰۴ واضحی هست، نه noindex مشخصی.
همین مبهم بودنش اعصابخردهکنترین بخش ماجراست.
بذار ساده بگم:
تو به گوگل گفتی «این صفحه مهمه، توی سایتمپمه»، ولی گوگل رفته در بزنه و یا کسی در رو باز نکرده، یا مسیر بسته بوده، یا یه مشکلی وسط راه پیش اومده. (Submitted URL has crawl issue)
خطای Submitted URL has crawl issue دقیقاً یعنی چه؟
این خطا زمانی نمایش داده میشود که:
-
URL در Sitemap ثبت شده
-
اما Googlebot هنگام Crawl کردن آن با مشکل مواجه شده
-
و این مشکل در دستهبندیهای مشخص (404، Soft 404، noindex و…) قرار نگرفته
نتیجه؟
صفحه ایندکس نمیشود و عملاً از بازی خارج است.
گوگل در این خطا اطلاعات زیادی نمیدهد؛ توپ میافتد توی زمین خودت.
برای منبع خارجی، این مقاله خیلی تمیز و حرفهای توضیح داده: Submitted URL has crawl issue in Google Search Console – How to Fix
چرا خطای Submitted URL has crawl issue رخ میدهد؟
اینجا جاییه که باید دقیق نگاه کنی، نه حدسی.
۱. مسدود شدن URL توسط robots.txt
یکی از شایعترین دلایل.
خیلی وقتها یه خط ساده توی robots.txt باعث میشه Googlebot اجازه ورود نداشته باشه.
مثال واقعی:
طراح سایت برای تست، فولدر /blog/ رو Disallow کرده و یادش رفته برگردونه.
۲. وجود تگ noindex (مستقیم یا غیرمستقیم)
ممکنه خودت یا افزونه سئو، روی صفحه تگ noindex گذاشته باشه.
یا حتی روی تمپلیت کلی.
گوگل صفحه رو میبینه، ولی میگه:
«خب خودت گفتی ایندکس نکنم.»
۳. مشکلات سرور (۵xx، تایماوت، کندی)
اگر سرور:
-
دیر جواب بده
-
خطای 500 یا 503 بده
-
یا منابعش کم باشه
گوگلبات بیرحمانه ول میکنه میره.
این مشکل مخصوصاً روی هاستهای شلوغ یا ارزون زیاد دیده میشه. مقاله مرتبط با این موضوع:
خطاهای ۵xx در گوگل کنسول | چرا پیش میاد و چطور حلش کنیم؟
۴. ریدایرکتهای اشتباه یا زنجیرهای
URL توی سایتمپ هست،
ولی:
-
به URL دیگهای ریدایرکت میشه
-
اون یکی هم ریدایرکت میشه
-
آخرش یا بنبست، یا لوپ
گوگل حوصله این بازیها رو نداره.
مقاله پیشنهادی:
رفع خطای Redirect error در سرچ کنسول | علت ارور و روش حل آن
۵. قرار دادن URLهای نامناسب در Sitemap
مثلاً:
-
فایل PDF
-
صفحات فیلترشده
-
URLهایی که پارامتر دارن
-
صفحاتی که اصلاً قرار نیست ایندکس بشن
سایتمپ باید تمیز باشه.
هر چیزی توش نباید باشه.
در جدول زیر رایجترین دلایل خطای Submitted URL has crawl issue و راهحل هرکدام را میبینید.
| علت بروز خطا | توضیح کوتاه و کاربردی | راهحل پیشنهادی |
|---|---|---|
| مسدود شدن توسط robots.txt | گوگلبات اجازه دسترسی به URL را ندارد | بررسی و اصلاح قوانین robots.txt |
| وجود تگ noindex | صفحه به گوگل گفته ایندکس نشود | حذف noindex از تنظیمات صفحه یا افزونه سئو |
| خطاهای سرور (5xx) | سرور پاسخ نامعتبر یا دیرهنگام میدهد | بررسی لاگ سرور و بهبود منابع هاست |
| ریدایرکت اشتباه | URL به آدرس نامناسب یا زنجیرهای هدایت میشود | اصلاح ریدایرکتها و حذف لوپ |
| URL نامناسب در Sitemap | صفحه غیرقابل ایندکس در سایتمپ ثبت شده | حذف URLهای غیرضروری از Sitemap |
| مشکل DNS یا دسترسی | گوگل نمیتواند به دامنه دسترسی پیدا کند | بررسی تنظیمات DNS و دامنه |
چطور خطای Submitted URL has crawl issue را قدم به قدم رفع کنیم؟
اینجا بخش نجات ماجراست.
قدم اول: بررسی URL با ابزار URL Inspection
اولین کار، بدون بحث.
-
URL رو داخل URL Inspection بزن
-
روی Test Live URL کلیک کن
-
ببین نسخه زنده صفحه قابل دسترسی هست یا نه
اگر نسخه زنده اوکی بود، یعنی مشکل قبلاً وجود داشته و الان رفع شده.
قدم دوم: robots.txt را دقیق بررسی کن
فایل robots.txt رو باز کن و دنبال این چیزها بگرد:
-
Disallow روی مسیر صفحه
-
قوانین کلی که ناخواسته Googlebot رو محدود میکنن
اگر شک داشتی، از Robots.txt Tester خود سرچ کنسول استفاده کن.
قدم سوم: بررسی noindex
سورس صفحه یا تنظیمات افزونه سئو رو چک کن:
-
Yoast
-
Rank Math
-
All in One SEO
مطمئن شو صفحه روی Index تنظیم شده.
قدم چهارم: بررسی وضعیت سرور
این بخش رو خیلیها دستکم میگیرن.
چک کن:
-
لاگ خطاهای سرور
-
وضعیت DNS
-
سرعت پاسخدهی سرور
اگر مرتب خطای ۵xx داری، اول اینو حل کن، بعد انتظار ایندکس داشته باش.
قدم پنجم: تمیز کردن Sitemap
سایتمپ باید شامل اینها باشه:
-
صفحات HTML
-
صفحات مهم
-
صفحات قابل ایندکس
هر چیزی غیر از این؟
حذف.
قدم ششم: درخواست ایندکس مجدد
بعد از رفع مشکل:
-
دوباره URL Inspection
-
Request Indexing
و صبر.
گاهی چند روز، گاهی چند هفته.
ارتباط این خطا با سایر خطاهای سرچ کنسول
اگر میخوای دید کاملتری نسبت به خطاهای سرچ کنسول داشته باشی و بدونی هر کدوم دقیقاً کجا به کارت میاد، پیشنهاد میکنم حتماً مقاله مادر رو ببینی.
اونجا همه خطاها کنار هم بررسی شدن و این مقاله در واقع تمرکز روی یکی از مهمترینشونه:
👉 https://asemanserver.ir/راهنمای-جامع-خطاهای-گوگل-کنسول/
جمعبندی نهایی
خطای Submitted URL has crawl issue ترسناک نیست، فقط مبهمه.
گوگل داره میگه:
«خواستم صفحه تو ببینم، نشد.»
مرور کلی بر علت خطای Submitted URL has crawl issue و راهحل آن
وظیفه تو اینه که:
-
مسیر رو باز کنی
-
موانع رو برداری
-
و شرایط رو برای Crawl فراهم کنی
اگه اصولی جلو بری، این خطا معمولاً یکی دو هفتهای از سرچ کنسول محو میشه.
دیدگاه