فایل robots.txt چیست؟

تاریخ انتشار : تیر ۱۵, ۱۳۹۸
1 ستاره2 ستاره3 ستاره4 ستاره5 ستاره (5٫00 / 5)

یکی از راه های درک از موجودیت در حال اجر بر روی وی سرور نمایش فایل robots.txt می باشد.

فایل robots.txt لیستی از پوشه ها و فایل هایی است که مالک وب سایت قصد دارد این پوشه ها و فایل ها توسط روبوت های موتورهای جست و گر ایندکس نشوند و در نتیجه در نتایج موتورهای جست و جو نمایش داده نشوند.

فایل robots.txt چیست؟ روبوت نرم افزاری است که موتورهای جست و جو با استفاده از آن صفحات وب را درون پایگاه داده های خود ایندکس می کنند. این روبوت اینترنت را با استفاده از لینک ها جست و جو کرده و همه یافته های ممکن را ایندکس می کنند.

ولی از نظر یک هکر فایل robots.txt یک نقشه راه است تا اطلاعات حیاتی موجود در سرور را شناسایی کند. چگونه به این فایل دسترسی پیدا کنیم؟ کافی است درون موتور جستجوگر خود، آدرس سایت را به همراه مسیر robots.txt وارد کنید.

مثلا برای دسترسی به فایل robots.txt موجود در سایت توشیبا آدرس زیر را باز می کنیم :

http://www.toshiba.com/robots.txt

فایل robots.txt معمولا به چهار بخش تقسیم می شود :

  1. پوشه ها
  2. فایل ها
  3. مسیر ها (URL های کامل)
  4. مسیر ها (URL های نسبی)

URL های کامل یا همان مطلق، آدرس هایی هستند که شما می توانید آنها را درون مرورگر کپی و قرار دهید.

مسیر های نسبی دارای پارامترهایی هستند برای مثال پارامتر q

هر وب سرور بایستی دارای یک فایل robots.txt باشد که معمولا در مسیر روت وب سرور قرار میگیرند. در غیر این صورت به احتمال زیاد روبوت ها کل سایت شامل پایگاه های داده، فایل ها و همگی را ایندکس خواهند کرد. این ها بخش هایی هستند که مدیران شبکه تمایلی به نمایش آنها در موتورهای جستجو ندارند. پوشه روت مسیری است که وب سرور از آن برای نصب نرم افزارهای وب سرور استفاده خواهد کرد.

  • در ویندوز این مسیر پوشه C:/inetpub/wwwroot
  • در لینوکس این مسیر پوشه /var/www

هیچ قانونی شما را از ایجاد یک روبوت برای پدید اوردن قانون مخالف، یعنی مرور فایل های robots وجود ندارد. یک چنین ابزاری برای استخراج اطلاعات از فایل robots.txt می تواند کارساز و در زمان شما صرفه جویی کند. در غیر این صورت می توان به همان شیوه قدیمی فایل robots.txt را مرورگر کرد.


نظرات

پاسخی بگذارید

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *