حل خطای Invalid sitemap URL detected robots.txt گوگل وبمستر

حل خطای robots.txt

درخصوص خطای Error – Invalid sitemap URL detected; syntax not understood

با اضافه شدن گزارش robots.txt به سرچ کنسول گوگل وبمستر امکانات زیادی در رابطی با فایل ربات اضافه شد .
اگر در ROBOTS.TXT با خطای فوق مواجه هستید، تحت هیچ شرایطی نباید به ابتدای مسیر نقشه Allow اضافه کنید .
این یک مشکل از جانب گوگل هست و باید صبر کنید تا راه حل آن توسط منابع رسمی و کارشناسان گوگل مورد بررسی و اطلاع رسانی شود .
اخیرا راهکار بسیار اشتباهی در وب درحال گسترش است که یک کاربر عادی ناشناخته پیشنهاد داده به ابتدای آدرس نقشه سایت از Allow استفاده شود که این موضوع کاملا اشتباه است .
یوزر ایجنت گوگل برای Allow فقط مسیرهای بعد از / را پشتیبانی می کنه و googlebot مسیرهای دارای https:// را پشتیبانی و کراول نمی کند .

کد صحیح نقشه سایت

sitemap: https://sample.com/sitemap.xml

کد اشتباه نقشه سایت

Allow: sitemap: https://sample.com/sitemap.xml

در کنسول جستجوی گوگل گزارش های زیادی دیده می شود که بعضا حتی نیازی به رسیدگی ندارند .
همچنین مشکلاتی را خواهید دید که ممکن است باگ یا حاصل یک رویداد مشخص نشده باشد .
در این مواقع فقط باید به توصیه های کارشناسان رسمی و موضع گیری های منابع شناخته شده مرتبط بپردازید و قبل از انجام هر راهکاری حتما تحقیق کرده و مستندات را مطالعه کنید .
در یک پروژه کدنویسی با تبدیل یک قطعه کد به کامنت، خطا ناپدید می شود، رفع نمی شود.
در خطای فایل robots.txt بخوبی fetch می شود و با اضافه کدن Allow نه تنها مشکل رفع نمی شود، بلکه نقشه هم خوانده نمی شود.

منبع انگلیسی : developers google

منبع فارسی : کانال تلگرام شهرام رهبری

با آرزوی موفقیت برای شما در هر کاری وبیت