robots.txtについて

robots.txtを利用する場合、正しくコーディングすることはとても重要です。何故なら、１つの間違いでロボット型検索エンジンのアクセスをすべて遮断してしまう可能性があるからです。いくつかのサンプルを記載しておきます。ただ、robots.txtは主に検索エンジンロボットを制限するためのものなので、その必要が無い場合は、robots.txtを特に設置する必要はありません。

すべてのページをインデックスする

User-agent: *
Disallow:
基本の設定です。特にrobots.txtを設置しなくてもデフォルトがこの状態です。

すべてのページをインデックスしない

User-agent: *
Disallow: /
注意：このように設定するとすべてのクローラーを拒絶してしまい、検索エンジンに登録されなくなります。

cgi-bin、imagesフォルダのみのアクセスを制限する。

User-agent: *
Disallow: /cgi-bin/
Disallow: /images/