Из года в год количество вредных ботов в Интернете не уменьшается.
Одни спамят, другие сканируют сайты на уязвимости, чтобы затем их взломать. Есть и те, что скачивают сайты целиком, чтобы потом наживиться на вашей раскрученности.
Самый действенный способ – забанить таких ботов.
Но при этом есть риск перекрыть доступ к сайту нужным ботам поисковых систем.

В данной таблице я систематизировал информацию о поисковых системах:
1. Названия и ip-адреса поисковых систем
2. Имена поисковых ботов, которыми они представляются сайтам

Поисковая система Наиболее
активный IP
Диапазон сети CIDR
Россия
Aport 194.67.18.239 194.67.18.0 – 194.67.18.255 194.67.0.0/18
Liveinternett 88.212.202.26 88.212.202.0 – 88.212.202.63 88.212.202.0/26
Mail.ru
Gogo.ru
94.100.176.20 94.100.181.91 94.100.176.0 – 94.100.183.255
94.100.181.128 – 94.100.181.255
195.239.211.0 – 195.239.211.255
94.100.176.0/20
94.100.181.128/25
195.239.211.0/24
Rambler
(StackRambler)
81.19.66.8
81.19.66.77 81.19.66.115
81.19.64.0 – 81.19.66.255 81.19.64.0/19
Yandex 87.250.255.243 77.88.22.0 – 77.88.23.255
87.250.224.0 – 87.250.255.255
93.158.128.0 – 93.158.191.255
95.108.128.0 – 95.108.255.255
213.180.214.128 – 213.180.214.255
77.88.0.0/18
87.250.224.0/19
93.158.128.0/18
95.108.128.0/17
213.180.192.0/19
Webalta 77.91.224.12 77.91.224.23 77.91.224.0 – 77.91.224.255 77.91.224.0/21
Зарубежные
Bing
(MSN)
207.46.98.149 65.52.0.0 – 65.55.255.255
207.46.0.0 – 207.46.255.255
65.52.0.0/14
207.46.0.0/16
Cuil
(Twiceler)
67.218.116.130
216.129.119.40
67.218.96.0 – 67.218.127.255
216.129.96.0 – 216.129.127.255
67.218.96.0/19
216.129.96.0/19
Entireweb
(Speedy)
88.131.106.22 88.131.106.0 – 88.131.106.63 88.131.0.0/16
Gigablast - 66.231.188.0 – 66.231.188.255 66.231.188.0/24
Google
(Googlebot)
66.249.65.141 64.68.80.0 – 64.68.87.255
64.233.160.0 – 64.233.175.255
66.102.0.0 – 66.102.15.255
66.249.64.0 – 66.249.95.255
72.14.192.0 – 72.14.255.255
209.85.128.0 – 209.85.255.255
209.185.0.0 – 209.185.255.255
216.239.32.0 – 216.239.63.255
64.68.80.0/21
64.233.160.0/19
66.102.0.0/20
66.249.64.0/19
72.14.192.0/18
209.85.128.0/17
209.185.0.0/16
216.239.32.0/19
Yahoo!
(Yahoo!
AltaVista)
74.6.68.152 67.195.0.0 – 67.195.255.255
69.147.64.0 – 69.147.127.255
72.30.64.0 – 72.30.255.255
74.6.0.0 – 74.6.255.255
67.195.0.0/16
69.147.64.0/18
72.30.0.0/16
74.6.0.0/16