• robots.txt

مقدمه ای برفایل robots.txt – سئوکان

توسط |بدون دیدگاه

یک فایل robots.txt به خزنده های موتورهای جستجو می گوید که خزنده به کدام URL ها در سایت شما می تواند دسترسی داشته باشد.فایل robots.txt عمدتا برای جلوگیری از بارگذاری بیش از حد سایت