Блокировка запросов по User-Agent в Apache

Первый вариант
Требования:
mod_setenv
mod_authz_host
AllowOverride All (minimum Limit,FileInfo) #нужно что бы использовать директивы в .htaccess
htaccess

Конструкция следующая

SetEnvIfNoCase User-Agent "TEST_BOT" bad_bot
Deny from env=bad_bot

Конструкцию можно размещать как в http.conf, так и в конфиге виртуального хоста, а также в htaccess. Если нужно запретить блокировку на уровне сервера, в конфиг httpd.conf добавить

<Directory />
SetEnvIfNoCase User-Agent "TEST_BOT" bad_bot
Deny from env=bad_bot
</Directory>

Второй вариант
Требования:
mod_rewrite
htaccess

Конструкция следующая

RewriteEngine on
RewriteCond %{HTTP_USER_AGENT} BOT1 [NC,OR]
RewriteCond %{HTTP_USER_AGENT} BOT2 [NC]
RewriteRule ^ - [F]