Как лучше заблокировать ботов через nginx.conf?

Заметки, коды на тему HTML, CSS, JavaScript, PHP на память - сниппеты

Как лучше заблокировать ботов?

» » Сообщение:

Нужно заблокировать ботов на стороне сервера, как лучше это сделать?

В основной конфиг /etc/nginx/nginx.conf добавляем:

Код: Выделить всё Развернуть
map $http_user_agent $limit_bots {
     default 0;
     ~*(google|bing|yandex|msnbot) 1;
     ~*(AltaVista|Googlebot|Slurp|BlackWidow|Bot|ChinaClaw|Custo|DISCo|Download|Demon|eCatch|EirGrabber|EmailSiphon|EmailWolf|SuperHTTP|Surfbot|WebWhacker) 1;
     ~*(Express|WebPictures|ExtractorPro|EyeNetIE|FlashGet|GetRight|GetWeb!|Go!Zilla|Go-Ahead-Got-It|GrabNet|Grafula|HMView|Go!Zilla|Go-Ahead-Got-It) 1;
     ~*(rafula|HMView|HTTrack|Stripper|Sucker|Indy|InterGET|Ninja|JetCar|Spider|larbin|LeechFTP|Downloader|tool|Navroad|NearSite|NetAnts|tAkeOut|WWWOFFLE) 1;
     ~*(GrabNet|NetSpider|Vampire|NetZIP|Octopus|Offline|PageGrabber|Foto|pavuk|pcBrowser|RealDownload|ReGet|SiteSnagger|SmartDownload|SuperBot|WebSpider) 1;
     ~*(Teleport|VoidEYE|Collector|WebAuto|WebCopier|WebFetch|WebGo|WebLeacher|WebReaper|WebSauger|eXtractor|Quester|WebStripper|WebZIP|Wget|Widow|Zeus) 1;
     ~*(Twengabot|htmlparser|libwww|Python|perl|urllib|scan|Curl|email|PycURL|Pyth|PyQ|WebCollector|WebCopy|webcraw) 1;
 }

и уже по домену /home/admin/conf/web/nginx.conf такое условие:

Код: Выделить всё Развернуть
location / {
    if ($limit_bots = 1) {
              return 403;
            }
}

перезапускаем nginx, юзаем.




Похожие темыКомментарии ПросмотрыПоследнее сообщение
11209Как закрыть сайт от некоторых ботов...
Сообщение от: Admin
01271phpBB Настройка. Скрываем подпись о...
Сообщение от: Admin
01277Добавляем русских поисковых ботов н...
Сообщение от: Admin
0516Как скрыть вложения от гостей и/или...
Сообщение от: Admin
0827Скрипт статистики поисковых ботов
Сообщение от: Admin