Как заблокировать кастомных ботов и другие user-agent.

12.03.2020

Сложность

3 мин.

2792

Заблокировать любых user-agent, которые обращаются к сайту можно посредством .htaccess файла и в конфигурации nginx. Для пользователей хостинга, чаще всего подходит именно .htaccess, так как к конфигурации nginx сервера не всегда есть доступ.

.htaccess файл
nginx сервер

Зайдите в свой аккаунт через FTP или SSH.
Создайте файл .htaccess в корневой директории сайта, если такого файла нет.
Внесите в начале файла блокировки, изменив Имя_вашего_user_agent1 и Имя_вашего_user_agent2 на своих user-agent, после чего файл сохраните:
```
RewriteEngine on
RewriteCond %{HTTP_USER_AGENT} ^.*(Имя_вашего_user_agent1|Имя_вашего_user_agent2).*$ [NC]
RewriteRule ^.* - [F,L]
```
Запросы к вашему сайту, а также user-agent (определение браузера/ОС обращающегося к сайту пира) можно найти в access логах сайта.
Возьмите любого заблокированного бота и проверьте curl доступность сайта:
```
curl -I --user-agent "Имя_вашего_user_agent1" http://your_site.ru/
```
Если блокировка работает, то ответ будет "HTTP/1.1 403 Forbidden".

Зайдите на сервер через SSH под root пользователем.
Создайте файл с кастомными блокировками:

touch /etc/nginx/vhosts-includes/custom_blocks.conf

Внесите в начале файла блокировки, изменив Имя_вашего_user_agent1 и Имя_вашего_user_agent2 на своих user-agent, после чего файл сохраните:
```
### case insensitive
if ($http_user_agent ~* (Имя_вашего_user_agent1|Имя_вашего_user_agent2)) {
return 403;
}
```
Если в имени user-agent есть пробел, например, Net Vampire, в конфигурации nginx нужно пробел заменить на \s. В итоге будет Net\sVampire.
Запросы к вашему сайту, а также user-agent (определение браузера/ОС обращающегося к сайту пира) можно найти в access логах сайта.
Проверьте конфигурацию nginx:
```
nginx -t
```
Если ошибок в конфигурации нет, перезагрузите службу nginx:
```
service nginx reload
```
Если reload не сработал:
```
service nginx restart
```
Возьмите любого заблокированного бота и проверьте curl доступность сайта:
```
curl -I --user-agent "Имя_вашего_user_agent1" http://your_site.ru/
```
Если блокировка работает, то ответ будет "HTTP/1.1 403 Forbidden".

Были ли сведения полезными?

Да Нет

Как заблокировать вредоносных ботов.