قبل از هرچیز اگر با فایل های robots.txt آشنا نیستید لازم است این بند را همراه ما باشید تا کمی با فایل های robots.txt آشنا شوید: وظیفه اصلی و مهم فایل Robots.txt در سایت، ایجاد محدودیت در دسترسی ربات های موتور جستجوی گوگل به محتوای سایت می باشد. همانطور که می دانید تمام ربات ها به صورت خودکار عمل می‌کنند و قبل از ورود به هرسایت و صفحه ای، از وجود فایل Robots.txt جهت مشخص شدن محدودیت های تعریف شده اطمینان حاصل می کنند. با تعریف قوانین مختلف در فایل های Robots.txt میتوان محدودیت های خاصی را برای ربات های جستجوگر در نظر گرفت که مهم ترین آن ایندکس شدن صفحات خاص می باشد. امروز در بیست اسکریپت اسكريپتي را در زمینه ساخت فایل های Robots.txt آماده دانلود کرده ایم که توسط آن به راحتی می توانید فایل های Robots.txt را ساخته و با وجود تنظیمات 22 خزنده و جستجوگر به قعالیت و ذخیره سازی بپردازید.
