چگونه فایل robots.txt را برای سئو بهینه سازی کنیم؟

احتمالا با فایل robots.txt آشنا هستید و می خواهید که آن را برای موتورهای جستجوگر بهینه سازی کنید تا وضعیت سئو سایت بهتر شود، اما نمی دانید که چگونه باید این کار را انجام دهید؟ با ما همراه باشید تا نحوه بهینه سازی robots.txt برای سئو را به شما نشان دهیم و بگوییم که چرا این مورد از اهمیت بالایی برخوردار است.

آیا به فایل robots.txt نیاز داریم؟

اگر شما فایل robots.txt را بر روی سایت خود نداشته باشید مشکلی به وجود نخواهد آمد و موتورهای جستجوگر وب سایت شما را ایندکس خواهند کرد. با این وجود پیشنهاد می شود که حتما این فایل را بر روی سایت خود داشته باشید.
اگر بخواهید که نقشه XML سایت را به موتورهای جستجوگر بشناسانید، می توانید آدرس آن را در فایل robots.txt وارد کنید تا موتورهای جستجوگر دیگری که مانند گوگل ابزار وبمستر ندارند، قادر به شناسایی نقشه سایت باشند.

قبل از اینکه ادامه مطلب را دنبال کنید، پیشنهاد می کنیم که اگر این فایل را همچنان روی سایت خود ندارید، حتما آن را ایجاد کنید.

فایل robots.txt کجاست؟ چگونه فایل robots.txt ایجاد کنیم؟

به طور معمول فایل robots.txt در مسیر اصلی سایت (root) قرار می گیرد. برای مشاهده آن می توانید از پنل هاست یا اتصال FTP استفاده کنید.
البته اگر صرفا بخواهید که فایل را مشاهده کنید، کافیست که از آدرس yourdomain.ir/robots.txt استفاده کنید. فراموش نکنید که به جای yourdomain.ir آدرس دامنه سایت خود را جایگزین کنید.

در صورتی که این فایل وجود نداشت، شما به راحتی می توانید خودتان یکی ایجاد کنید. تمام کاری که باید انجام دهید ایجاد یک فایل متنی ساده و ذخیره کردن آن به نام robots.txt است. سپس فایل مذکور را بر روی سایت خود آپلود کنید.

چگونه از فایل robots.txt استفاده کنیم؟

نحوه استفاده از فایل robots.txt بسیار ساده است. در خط اول نام کاربر عامل مشخص می شود. منظور از نام عامل همان نام ربات موتورهای جستجوگر است که می خواهید با آن ارتباط برقرار کنید.
برای مثال، Googlebot برای خزنده های گوگل و Bingbot برای خزنده های بینگ مورد استفاده قرار می گیرد. اگر بخواهید که تمام موتورها مورد خطاب قرار گیرند آن موقع باید از علامت ستاره * استفاده کنید.

خط بعدی دسترسی یا عدم دسترسی را برای کاربر عامل مشخص می کند. بدین طریق، موتورهای جستجوگر مطلع خواهند شد که کدام صفحات را ایندکس کنند و از ایندکس کردن کدام بخش های سایت خودداری کنند.

یک نمونه ساده از فایل robots.txt را مشاهده کنید:

User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /readme.html

در این فایل robots.txt که برای سایت وردپرسی است؛ مشخص کرده ایم که تمام موتورهای جستجوگر می توانند پوشه تصاویر سایت را ایندکس کنند. در مقابل حق ایندکس کردن پوشه افزونه ها و فایل readme.html را از آنها صلب کرده ایم.

بهینه سازی فایل robots.txt برای سئو

براساس دستور العمل های وبمسترها، گوگل تاکید کرده است که مدیران سایت ها از فایل robots.txt برای مخفی کردن محتوای بی کیفیت استفاده نکنند.
بنابراین اگر تصمیم گرفته اید که با استفاده از فایل robots.txt از ایندکش شدن صفحات مربوط به آرشیوها، دسته ها و غیره جلوگیری کنید، قطعا انتخاب عاقلانه ای نکرده اید.

در نظر داشته باشید که هدف از وجود فایل robots.txt مشخص کردن نحوه رفتار ربات ها با محتوای مورد خزش قرار گرفته است. به عبارتی، موتورهای جستجوگر از خزش سایت دست نخواهند کشید.

بسیاری از افراد صفحات مدیریت و ورود به ناحیه کاربری را در فایل robots.txt وارد می کنند تا از ایندکس آنها جلوگیری کنند، این در حالی است که انجام این کار لازم نیست. چون وردپرس به صورت پیشفرض برای این صفحات از متاتگ noindex استفاده می کند.

در مقابل قطع دسترسی به فایل readme.html می تواند گزینه مناسبی باشد. در این فایل اطلاعات مربوط به نسخه وردپرس وجود دارد. بنابراین، اگر شما از آخرین نسخه وردپرس استفاده نمی کنید و در نسخه های قبلی حفره امنیتی وجود داشته باشد، افراد با اطلاع از این موضوع می توانند حملاتی را بر روی سایت انجام دهند.

اضافه کردن نقشه XML سایت به فایل Robots.txt

در صورتی که از افزونه Yoast’s WordPress SEO و یا سایر افزونه های ایجاد نقشه XML سایت استفاده کنید، به احتمال زیاد افزونه مورد نظر اطلاعات مربوط به نقشه سایت را به فایل Robots.txt سایت اضافه خواهد کرد.
اگر اینگونه نبود، آن موقع باید خودتان این کار را به صورت دستی انجام دهید. به مثال زیر توجه کنید:

Sitemap: http://www.example.com/post-sitemap.xml
Sitemap: http://www.example.com/page-sitemap.xml

شما هر چند تا که نقشه سایت داشته باشید، می توانید آدرس آنها را در فایل robots.txt درج کنید.

فایل robots.txt باید چگونه باشد؟

تا به این قسمت به صورت بخش بخش به بررسی فایل robots.txt پرداختیم. اما اگر همچنان مطمئن نیستید که یک فایل robots.txt باید به شکلی باشد، در زیر به یکی از ساده ترین و البته رایج ترین مدل اشاره می کنیم:

User-agent: *
Disallow:

Sitemap: http://www.example.com/post-sitemap.xml
Sitemap: http://www.example.com/page-sitemap.xml

در این فایل تمام موتورهای جستجوگر به تمام بخش های سایت دسترسی دارند و در ادامه آدرس نقشه های سایت نیز مشخص شده اند.