トップページ > ボットの巡回を拒否する

ボットのアクセスを制限する

日々巡回してくる様々なボット(クローラー)からのアクセスを制限する場合、
.htaccessには以下のように記述します。

#ボットの設定
SetEnvIf User-Agent “Googlebot” denybot
SetEnvIf User-Agent “Slurp” denybot
SetEnvIf User-Agent “bingbot” denybot
SetEnvIf User-Agent “msnbot” denybot
SetEnvIf User-Agent “Yandex” denybot
SetEnvIf User-Agent “DuckDuckBot” denybot
SetEnvIf User-Agent “Mappy” denybot
SetEnvIf User-Agent “proximic” denybot
SetEnvIf User-Agent “Twitterbot” denybot
SetEnvIf User-Agent “applebot” denybot
SetEnvIf User-Agent “blogmuraBot” denybot
SetEnvIf User-Agent “SemrushBot” denybot
SetEnvIf User-Agent “AhrefsBot” denybot
SetEnvIf User-Agent “BLEXBot” denybot

#AllowとDenyの順序を指定
order Allow,Deny

#全てのアクセスを許可
Allow from all

#ボットからのアクセスを拒否
Deny from env=denybot

上記に記載しているボットはごく一部のものです。
他にも多くのボットがあるので、必要に応じて設定して下さい。

・インデックスさせたくないページがある場合
・検索エンジン以外のよくわからないボットを拒否したい場合
などに使える設定です。