امروزه سئو و بهینه سازی وب سایت یکی از مهم ترین دقدقه های وب مستران است, موتورهای جستجوگر گوگل (Google) , بینگ (Bing) , یاهو (Yahoo) برای یافتن نتایج جستجو شده و ایندکس از روبات های جستجو که به robot , Spider , crawler معروف هستند استفاده میکنند .
ممکن است شما به عنوان یک وب مستر دوست نداشته باشید بعضی از صفحات سایت شما مانند صفحه مدیریت یا … در موتورهای جستجو ایندکس شود , شما برای این کار باید به موتورهای جسجو اعلام کنید که فلان صفحه را نباید ایندکس کنی. ما برای این کار از robots.txt استفاده میکنیم.
robots.txt چیست ؟
robots.txt یک فایل متنی با فرمت .txt است که ما با قرار دادن کدهای خاصی در این فایل به روبات های جستجو گر اعلام میکنیم که کدام صفحه ها را ایندکس نکند. البته crawler به محتویات فایل robots.txt توجه نمیکنند ولی موتورهای جسجو معروف مانند گوگل و بینگ و … به محتوایت این فایل عمل میکنند و صفحه های ممنوع شده را ایندکس نمیکنند.
نحوه ساخت robots.txt
یک Notpad باز کنید و اسم آنرا robots قرار دهید. شما میبایست با قرار دادن کدهایی به موتور های جستجو ممنوعیت های صفحات خود اعلام کنید.
در خط اول فایل اسم روباتی را که میخواهیم برایش ممنوعیت ایجاد کنیم را مینویسیم. با این دستور
* :User-agent
علامت * به معنی همه روبایت ها میباشد که بهتر است همین * باشد..
Disallow
فرمان Disallow برای جلوگیری از ایندکس شدن آدرس خاصی استفاده میشود.
چند مثال :
* :User-agent
/Disallow: /cgi-bin
/Disallow: /images
Disallow: /private.html
با این کار ادرس ها و فایل هایی که جلوی Disallow نوشته شده انددر موتورهای جستجو اینکس نمیشوند.
