گزارش جدید robots.txt به کنسول جستجوی گوگل آمد

گزارش جدید robots.txt به کنسول جستجوی گوگل آمد؛ با robots.txt tester خداحافظی کنید

گوگل با اضافه کردن گزارش جدید robots.txt به کنسول جستجو، قابلیت های بیشتری را در رابطه با آن در اختیار کاربران قرار داد. حال اگر به کنسول جستجوی گوگل و settings مراجعه کنید، ابزار جدیدی  را بالای Crawl stats مشاهده خواهید کرد که بطور کامل جایگزین ابزار robots.txt tester شده است.

با این تصمیم، گوگل سند راهنمای robots.txt را نیز با راهکارها و توضیحات بیشتر توسعه داده تا با بهره مندی از این گزارش و اطلاعات اضافه شده، درک و بینش بهتری از وضعیت robots.txt و تاثیر آن بر روی وبسایت تان بدست آورید. این خط مشی ها شرایط متفاوتی را اعلام کرده است که در نوع بسیار حائز اهمیت می باشد.

گزازش جدید robots.txt در کنسول جستجوی گوگل شامل قابلیت های زیر است:

1. نمایش وضعیت robots.txt تمام پراپرتی های متصل به دامنه شما از جمله ساب دامین ها و آدرس هایی که با یا بدون www فچ کرده اید.
2. آخرین زمانی که کراولرها robots.txt را خزیده اند.
3. تمام مشکلات و خطاهای مربوط به فایل robots.txt و مشکلاتی که در سایت با تنظیمات این فایل وجود دارد.
4. گزارش وضعیت فایل robots.txt از جمله سایز، فرامین داخل آن و وضعیت در دسترس بودن.

 با این بروزرسانی، ازین پس وضعیت صفحاتی که در Page indexing از ابزار inspection بررسی می شوند به همراه گزارش robots.txt همراه خواهد بود.

 گزارش جدید robots.txt شامل اطلاعات مختلفی است که مهمترین آنها به این شرح می باشد:

1. وضعیت File path – مسیری که گوگل توانسته طی 30 روز گذشته فایل robots.txt  در آنجا بیابد.
2. وضعیت Fetch status – مشخص می کند که گوگل آخرین بار هنگام فچ کردن robots.txt با چه وضعیتی مواجه شده است. این گزارش شامل Not Fetched – Not found (404) و Not Fetched – Any other reason و Fetched
3. وضعیت Checked on – آخرین زمانی که گوگل فایل را خزیده است.
4. وضعیت Size  – سایز فایل robots.txt
5. وضعیت Issues  – نمایش مشکلات و خطاهای robots.txt که گوگل می گوید برای بررسی مشکلات این فایل از ابزارهای robots.txt validator موجود در وب استفاده کنید.

گوگل می گوید اگر در robots.txt تغییرات ضروری اعمال کرده اید که نیاز است گوگل بلافاصله آن را خزش کند، این امکان فراهم شده تا درخواست خزش دستی برای مواقع فورس ماژور ارسال کنید.
در صورتیکه فایل robots.txt وجود داشته باشد اما به هر دلیل گوگل نتواند آن را فچ کند، در 12 ساعت اول گوگل پروسه خزش در سایت را متوقف می کند اما به تلاش برای فچ کردن فایل robots.txt ادامه می دهد.
اگر گوگل نتواند نسخه جدید فایل robots.txt را هم فچ کند، تا 30 روز بعد از آن سعی می کند از آخرین نسخه سالم و خوب robots.txt  که قبلا وجود داشته استفاده کند در حالی که همچنان برای فچ کردن نسخه جدید تلاش می کند.

اگر بعد از 30 روز همچنان خطاها برطرف نشدند:

اگر سایت به طور کلی در دسترس باشد، گوگل طوری رفتار می کند که گویی فایل robots.txt وجود ندارد.
اگر سایت درگیر مشکلاتی برای در دسترس بودن باشد، گوگل بطور کامل خزش در سایت را متوقف می کند و به طور دوره ای برای فچ کردن فایل robots.txt ریکوئست میفرستد.

 اگر گوگل فایل robots.txt را پیدا کند و بتواند آن را فچ کند، این فایل را خط به خط می خواند:

اگر خطی وجود داشته باشد که دارای خطا بوده و یا نتوان آن را با قوانین robots.txt تطبیق داد، از کل فایل robots.txt  صرف نظر می شود.
اگر هیچ فرمان معتبری در فایل جدید وجود نداشته باشد، گوگل آن را به عنوان یک فایل robots.txt خالی در نظر می گیرد و به بیان دیگر گویی هیچ قانونی برای سایت مشخص نشده است.

با آرزوی موفقیت برای شهرام رهبری بابت ترجمه به فارسی و شما عزیزان وبمستر سایت وبیت