یک فایل robots.txt به خزنده های موتورهای جستجو می گوید که خزنده به کدام URL ها در سایت شما می تواند دسترسی داشته باشد.فایل robots.txt عمدتا برای جلوگیری از بارگذاری بیش از حد سایت شما با درخواست ها مکرر استفاده می شود.

فایل ربات تی اکس تی مکانیسمی برای جلوگیری از دسترسی موتوگوگل به سایت شما نیست نیست. برای جلوگیری از ایندکس سایتان باید ، ایندکس سازی را با استفاده ازnoindex مسدود کنید یا برای صفحه رمزعبورتعیین کنید.

اگر از CMS استفاده می کنید، مانند وووردپرس ، ممکن است نیازی به ویرایش مستقیم فایل robots.txt خود نداشته باشید (یا نتوانید آن را انجام دهید). درعوض، CMS ها به شما اجازه می دهند که تنظیمات صفحه را به گونه ای تغییر دهید که موتورهای جستجو مجاز به خزیدن صفحه شما باشند یا نباشند.

اگر می‌خواهید یکی از صفحات خود را از دید موتورهای جستجو مخفی یا نمایان کنید، دستورالعمل‌های مربوط به اصلاح نمایان بودن صفحه خود در موتورهای جستجو را در CMS خود جستجو کنید مثل: (noindex کردن صفحه در wordpress)

Web page

شما می توانید از یک فایل robot.txt برای صفحات وبی مانند (html ، pdf ،یا فایل هایی غیراز فایل هی مدیا که گوگل می تواند آنها را بخواند) ، جهت جلوگیری از درخواست های خزش مکرر یا جلوگیری از خزش صفحات کم اهمیت یا مشابه استفاده کنید

هشدار: از فایل Robot.txt به عنوان ابزاری برای مخفی کردن صفحات وب خود از نتایج جستجوی گوگل استفاده نکنید.
اگر صفحات دیگر با متن توصیفی به صفحه شما اشاره کنند، گوگل همچنان می تواند بدون بازدید از صفحه، URL را ایندکس کند. اگر می خواهید صفحه خود را از نتایج جستجو مسدود کنید، از روش دیگری مانند استفاده از رمز عبور یا Noindex استفاده کنید.

اگر صفحه وب شما با یک فایل Robot.txt مسدود شده باشد، URL آن همچنان می تواند در نتایج جستجو ظاهر شود، اما نتیجه جستجو توضیحی نخواهد داشت. فایل های تصویری، فایل های ویدئویی، PDF ها و دیگر فایل های غیر HTML حذف خواهند شد. اگر این نتیجه جستجو را برای صفحه خود می بینید و می خواهید آن را اصلاح کنید، ورود Robots.txt که صفحه را مسدود می کند را حذف کنید. اگر می خواهید صفحه را به طور کامل از جستجو مخفی کنید، از روش دیگری استفاده کنید.

Media file

برای مدیریت ترافیک خزش و همچنین جلوگیری از نمایش تصاویر، ویدیو و فایل های صوتی در نتایج جستجوی گوگل از یک فایل Robot.txt استفاده کنید. ولی این کار از لینک شدن صفحات یا کاربران دیگر به تصویر، ویدیو یا فایل صوتی شما جلوگیری نخواهد کرد.
در مورد جلوگیری از نمایش تصاویر در گوگل بیشتر بخوانید.
در مورد نحوه حذف یا محدود کردن فایل های ویدیویی خود در گوگل بیشتر بخوانید.

Resource file

شما می توانید از یک فایل robots.txt جهت بلاک فایل های منابع کم اهمیت از قبیل عکس،اسکریپت،استایل استفاده کنید.
اگرفکرمی کنید صفحات جهت لود شدن به این فایل ها اهتیاج دارن این کاررا انجام ندهید.
اگراین کار باعث می شود کرول کردن صفحه برای گوگل سخت شود آن را انجام ندهید.
همچنین اگراین کار باعث می شود انالیز صفحه توسط گوگل درست انجام نشود آن را انجام ندهید

قبل از اینکه یک فایل Robot.txt ایجاد یا ویرایش کنید، باید محدودیت های این روش مسدود کردن URL را بدانید. بسته به اهداف و موقعیت خود، ممکن است بخواهید مکانیزم های دیگری را برای اطمینان از عدم نمایش URL های خود در وب در نظر بگیرید

دستورالعمل های موجود در فایل های Robot.txt نمی توانند خزنده را به رفتارموردنظرشما درمورد سایتتان تحمیل کنند ؛ رفتار با سایت شما به خزنده بستگی دارد. در حالی که Googlebot واکثر خزنده های وب از دستورهای موجود در یک فایل Robot.txt پیروی می کنند، برخی خزنده ها ممکن است این کار را نکنند.

بنابراین، اگر می خواهید اطلاعات را از خزنده های وب در امان نگه دارید، بهتر است از روش های مسدودکننده دیگر مانند محافظت از فایل های خصوصی روی سرور خود استفاده کنید.

اگرچه اکثر خزنده های وب دستورها ی یک فایل Robot.txt دنبال می کنند، هر خزنده ممکن است دستورها را به طور متفاوتی تفسیر کند. شما باید نحو مناسب دستوردهی به خزنده های وب مختلف را بدانید زیرا برخی ممکن است دستورالعمل های خاصی را درک نکنند.

در حالی که گوگل محتوای مسدود شده توسط یک فایل Robot.txt را نمی خزد یا نمایه نمی کند، اما اگر از مکان های دیگر در وب لینک شده باشد، ممکن است همچنان یک URL ممنوعه را پیدا و نمایه کند در نتیجه، آدرس URL و به طور بالقوه، دیگر اطلاعات در دسترس عموم مانند متن لنگر در لینک های صفحه هنوز می توانند در نتایج جستجوی گوگل ظاهر شوند.

. برای اینکه URL شما به درستی در نتایج جستجوی گوگل ظاهر نشود، از فایل های روی سرور خود محافظت کنید، از برچسب noindex متا ، یا صفحه را به طور کامل حذف کنید

فایل robots.txt را ایجاد یا به روز کنید

اگر تصمیم گرفتید که فایل robots.txt ایجاد کنید، یاد بگیرید که چگونه یک فایل robots.txt ایجاد کنید . یا اگر قبلاً یکی دارید، نحوه به ‌روزرسانی آن را بیاموزید .