آشنایی با دستورات فایل Robots.txt و معانی‌شان
شناخت با امرها پوشه Robots.txt و معانی‌شان
کلاً ۴ امر اصلی در پوشه Robots.txt نیاز داریم:
User-agent: برای معین کردن رباتی که امرها آموزش سئو مشهد برای آن مندرج.
Disallow: نصیب‌هایی که ربات اذن درخواست یا این که نظارت آن را ندارد.
Allow: قسمت‌هایی که مجاز به درخواست و رسیدگی میباشد.
Sitemap: برای نشانه دادن نشانی پوشه نقشه وبسایت به ربات‌ها.
پیرو توضیح میدهیم که چطور می بایست از این امرها استعمال شود.
۱. معین کردن ربات با User-agent
از این فرمان برای هدفگیری یک ربات خاص آموزش سئو در مشهد به کارگیری می‌گردد. از این فرمان می‌قدرت به دو صورت در پوشه robots.txt بهره برد.
در شرایطی‌که می خواهید به آحاد ربات‌های خزنده یک امر یکسان بدهید، کافی میباشد بعداز عبارت User-agent از نشانه ستاره (*) به کارگیری نمایید. نماد ستاره به معنای «تمامی چیز» میباشد. مانند نمونه پایین:
*:User-agent
امر بالا به‌این مفهوم میباشد که دستورها آتی، برای همگی ربات‌های جستجو گر یکسان شغل نماید.
ولی در صورتی‌که میخواهید صرفا به یک ربات خاص مانند ربات گوگل (GoogleBot) امر خاصی را بدهید، فرمان شما بایستی به صورت پایین نوشته گردد:
User-agent: Googlebot
کد بالا بدین مضمون میباشد که "اجرای اوامر فولدر، فقط برای ربات گوگل الزامی میباشد.
۲. مشخص و معلوم کردن صفحه های و نصیب‌های غیرمجاز با Disallow
فرمان Disallow به ربات‌ها می گوید که چه فولدرهایی از اینترنت‌وبسایت شمارا نباید رسیدگی نمایند. درواقع این فرمان، بیان‌کننده نشانی‌هایی میباشد که میخواهید از ربات‌های کاوش نهفته بماند.
به طبع بخوانید: با یادگیری اصول و فوت و فن رای زنی؛ پیروز مذاکرات گردید
از جمله در صورتی نمی خواهید موتورهای کاوش، تصاویر اینترنت‌تارنما‌تان را ایندکس نمایند، می توانید مجموع تصاویر وب سایت را باطن یک فایل در هاستینگ خویش قرار دهید و از دسترس موتورهای کاوش بیرون سازید.
فرض کنیم که کل این تصاویر را به باطن فولدری به اسم Photos منتقل کرده‌اید. برای آنکه به گوگل بگویید که‌این تصاویر را ایندکس نکند، بایستی دستوری مانند تحت را بنویسید:
* :User-agent
Disallow: /photos
امر / بعد از Disallow به ربات گوگل میگوید می بایست وارد فایل‌ای در ریشه فولدر شوی. نام این فولدر photos میباشد.
این دو خط در پوشه robots.txt، به هیچ یک از ربات‌ها اذن ورود به پوشه تصاویر را نمی‌دهد. در کد دستوری بالا، نصیب «User-agent: *» می گوید که اجرای این امر برای همه ربات‌های کاوش الزامی میباشد. نصیب Disallow: /photos بیان کنده این میباشد که ربات، اذن ورود یا این که ایندکس فایل تصاویر تارنما را ندارد.
نکته: نیازی وجود ندارد نشانی را به طور بدون نقص جلوی امر Allow یا این که Disallow بنویسید.
۳. معین کردن نصیب‌های مجاز برای ربات‌ها با Allow
همانگونه که می دانیم ربات خزنده و ایندکس کنندۀ گوگل، Googlebot اسم داراست. این ربات نسبت به بقیه ربات‌های کاوشگر، دستورها بیشتری را متوجه می‌گردد. خلال دستورها "User-agent" و "Disallow"، ربات گوگل امر دیگری به اسم "Allow" را نیز شعور می‌نماید.
فرمان Allow به شما قابلیت و امکان می دهد تا به ربات گوگل بگویید که اذن مشاهده یک پوشه، در فولدری که Disallowed گردیده را دارااست. برای فهم خوب این امر، اذن بدهید که از نمونه قبل استعمال کنیم، خوب وجود ندارد؟
در نمونه گذشته فن کدی را نوشتیم که به ربات‌های کاوش، اذن دسترسی به تصاویر تارنما را نمی‌بخشید. آحاد تصاویر وب سایت را داخل یک فایل به اسم Photos قرار دادیم و با امر پایین یک پوشه robots.txt تولید کردیم:
* :User-agent
Disallow: /photos
حالا فکر کنید داخل این فولدری ما که در هاستینگ تارنما قراردارد، تصویری به اسم novin.jpg وجود داراست که میخواهیم Googlebot آن را ایندکس نماید. با به کارگیری از فرمان Allow قادر خواهیم بود به ربات گوگل بگوییم که‌این شغل را ایفا دهد:
* :User-agent
Disallow: /photos
Allow: /photos/novin.jpg
این امر به ربات گوگل می گوید علی رغم اینکه فایل Photos از دسترس ربات‌ها بیرون گردیده است، اذن مشاهده و ایندکس پوشه novin.jpg را دارااست.
۴. نقشه وب سایت
گوگل برای وبمسترها و صاحبان وب سایت‌ها چندین رویه برای دسترسی به نقشه وبسایت نهاده میباشد. یکی‌از این شیوه‌ها تایپ کردن نشانی فولدر در پوشه میباشد.
مطلقا بخوانید: لینک و پیوند سازی داخلی چیست و چه گونه اجرا می‌گردد؟
Sitemap: https://example.com/sitemap.xml
هیچ الزامی نیست که نشانی نقشه وب سایت را از این‌شیوه به ربات‌های گوگل اکران دهید. شایسته ترین راه و روش ارائه نقشه وب سایت به گوگل استعمال از ابزار سرچ کنسول میباشد.
همانگونه که میبینید دیجیکالا فرمان وب سایت مپ را در پوشه robots.txt خویش قرار داده میباشد.
در نصیب آن گاه توضیح میدهیم که چطور یک فولدر Robots.txt بسازیم، آن را در مکان درستش در اختیار بگذاریم و آزمایش کنیم تا ربات‌های گوگل به آن دسترسی داشته باشند.