ترفند تنظیمات حرفه ای Robot.txt برای سئو سایت و آتوریتی
بتاکاپ – تنظیمات فایل robot.txt شاید برای بسیاری از وبمستران مسئله جدی نباشد اما اگر آنها بدانند با تنظیمات درست آن می توانند کمک زیادی به سئو سایت خود کرده و آتوریتی بالا برایش بگیرند، حتماً ترفند تنظیمات حرفه ای Robot.txt برای سئو سایت های وردپرسی و غیروردپرسی را مطالعه می کنند. اینکه چرا باید […]
بتاکاپ – تنظیمات فایل robot.txt شاید برای بسیاری از وبمستران مسئله جدی نباشد اما اگر آنها بدانند با تنظیمات درست آن می توانند کمک زیادی به سئو سایت خود کرده و آتوریتی بالا برایش بگیرند، حتماً ترفند تنظیمات حرفه ای Robot.txt برای سئو سایت های وردپرسی و غیروردپرسی را مطالعه می کنند. اینکه چرا باید robot.txt را تنطیم کرد و با چه دستوراتی باید جلوی کرال برخی صفحات را گرفت و اجازه ایندکس شدن به آنها نداد را به طور کامل در ادامه توضیح داده ایم؛ با ما همراه باشید.
بیشتر بخوانید | تاثیر بک لینک در سئو
ترفند تنظیمات حرفه ای Robot.txt برای سئو سایت
* :User agent
/ :Disallow
همه موتورهای جستجو اجازه کرال کردن این سایت را دارند اما علامت اسلش بعد از disallow فعلاً به هیچیک اجازه کرال کردن نمی دهد.
شاید تعجب کنید که چرا یک وبمستر یا صاحب سایت نخواهد صفحات سایتش مورد توجه کرالرهای موتورهای جستجو قرار بگیرند و دقیقاً این موضوعی است که راز و رمز سئو محسوب می شود. اگر صاحبان سایت بدانند که کرالرها بودجه ای برای رصد سایتشان دارند و صفحات اضافی و بیهوده زیادی، این بودجه را صرف می کنند، هرگز این سوال را نمی پرسیدند چرا که جلوگیری از کرال صفحات بی مصرف سایت موجب بهبود رنک سایت شما در صفحات جستجوی گوگل می شود.
مواردی که می تواند باعث اتلاف وقت کرالر شود عبارتند از:
پیج های اسپم
صفحات با کیفیت پائین
استفاده از پروکسی ها و فضاهای خالی زیاد بین مطالب
محتوای تکراری
Soft error ها
برای پیدا کردن فایل robot.txt کافیست در انتهای نام دامنه خود یا دیگران عبارت robot.txt را درج کنید:
xxx.com/robot.txt
البته برخی وبمسترها ممکن است این فایل را رمزگذاری کرده باشند تا عموم کاربران قادر به دیدن آن نباشند و شما با صفحه خالی یا خطای 404 مواجه شوید. تنظیمات حرفه ای فایل robot.txt از رموز سئو در سایتها است و وبمستران حرفه ای دوست ندارند اسرار کارشان بر ملا شود.
محل قرار گرفتن فایل Robot.txt در سایت
برای پیدا کردن فایل robot.txt سایت خود کافیست به روت دایرکتوری نصب سایت در هاست یا سرور خود بروید و به دنبال robot.txt بگردید. اگر این فایل را ندارید، باید فایل robot.txt را برای سایت خود بسازید تا کمک زیادی به سئوی سایت کرده باشید.
برای اینکار می بایست یک فایل word یا ادیتور notepad باز کرده و با پسوند Txt آن را ذخیره کنید و طبق تنظیماتی که در ادامه آموزش داده خواهد شد، فایل robot.txt خود را تنظیم کنید. البته توصیه می شود فایل فوق را با word نسازید چرا که برخی کدهای زائد به همراه word به فایل مورد نظر شما وارد می شود و موجب عملکرد نامناسب robot.txt می شود.
تنظیم حرفه ای فایل robot.txt با سینتکس هایش
راهنمای گوگل برای تنظیم فایل robot.txt کافی به نظر می رسد در ادامه به توضیح سینتکس ها و کارکرد علامت های مختلف در تنظیم فایل robot.txt می پردازیم.
1. تنظیم robot.txt برای کرال همه صفحات و پیج های سایت
* :User agent
/ :Disallow
در صورتی که بعد از دستور disallow هیچ دستوری وارد نشود، همه سایت شما کرال خواهد شد.
در برخی موارد نیز شاید بخواهید سایت مپ خود را به کرالرها معرفی کنید اما اینکار نیاز نیست؛ در صورتی که قصد معرفی سایت مپ خود به طور دستی به کرالرها را دارید آدرس زیر را در انتهای فایل اضافه کنید.
sitemap: https://xxxx.com/sitemap.xml
بهینه کردن robot.txt برای SEO سایت
بهینه کردن تنظیمات فایل ربات robot.txt بسته به محتوای سایت شما و همچنین تعداد اخبار و اهمیت صفحات سایت شما دارد که در ادامه به برخی تنظیمات مهمی که به بهبود رنکینگ سایت شما در گوگل کمک می کند می پردازیم.
قبل از شروع این نکته را یادآوری می کنیم که شما نباید از فایل robot.txt برای جلوگیری از دسترسی کرالرها به صفحات خود استفاده کنید. این یک اشتباه بزرگ در سئو محسوب می شود. یکی از بزرگترین مزایای استفاده از robot.txt استفاده حداکثری و بهینه از بودجه کرالرها برای رصد سایت شماست که وقت خود را بر روی صفحات مهم بیشتر بگذارند و لینک های جدید را شناسایی کنند.
جلوگیری از کرال یک دایرکتوری یا پیج در سایت با استفاده از robot.txt
برای اینکه از کرال شدن یک صفحه در سایت جلوگیری کنید کافیست از بعد نام دامنه(www.xxxx.com)، هر آنچه در آدرس URL وجود دارد را در بین دو اسلش قرار دهید و جلوی disallow قرار دهید.
برخی صفحاتی که نیاز به استثنا شدن از کرال دارند عبارتند از:
- صفحات تکراری: به عنوان مثال ورژن پرینتر یک صفحه، نیازی به کرال شدن ندارد
- صفحات تشکر: صفحاتی که پس از یک عملیات موفق یا ناموفق به کاربر نشان داده می شوند.
به یاد داشته باشید که اگر جلوی کرال شدن یک صفحه را بگیرید، لزوماً به معنای این نیست که آن صفحه در گوگل ایندکس نمی شود. برای همین منظور می بایست برای صفحاتی که دوست ندارید ایندکس شوند از سینتکس NOINDEX استفاده کنید.
اگر جلوی کرال یک صفحه را بگیرید ولی از سینتکس noindex استفاده نکنید به معنای آن است که این صفحه برای شما از اهمیت زیادی برخودار نیست و به انتهای صف کرال خواهد رفت اما همچنان آن را در نتایج جستجوی گوگل ولو در صفحات پائینترش خواهید دید.
کاربرد استفاده از nofollow در فایل robot.txt نیز به مفهوم واقعی آن است و به کرالر می گوید که لینکهای این صفحه را دنبال نکند. البته برای nofollow کردن یا noindex کردن یک صفحه می توانید کد زیر را در قسمت متای آن صفحه بین <head> و <head/> قرار دهید.
برای تست درست کار کردن فایل robot.txt خود ابتدا به اکانت وبمستر سایت خود وارد شوید.
از منوی سمت چپ بر روی گزینه crawl کلیک کنید.
سپس روی زیرمنوی test robot.txt کلیک کنید.
پس از فشردن دکمه تست اگر وضعیت به allowed تغییر کرد، کارتان را دست انجام داده اید.
اگر از مطلب ترفند تنظیمات حرفه ای Robot.txt برای سئو سایت و آتوریتی راضی بودید، تجربیات خود را در این زمینه با ما به اشتراک بگذارید.