Фальшивые CN, CG, HK Google боты
После анализации пришёл к выводу, что одновременнно в секунду часть моих сайтов поcещает около 1k-2k google ботов,
Вот часть из пары сотен ИП:
117.78.58.23
117.78.58.25
117.78.58.20
49.87.175.43
180.122.20.25
121.33.146.226
юзер агент: "https://www.google.com" "Mozilla/5.0(Linux;U;Android 5.1.1;zh-CN;OPPO A33 Build/LMY47V) AppleWebKit/537.36(KHTML,like Gecko) Version/4.0 Chrome/40.0.2214.89 UCBrowser/11.7.0.953 Mobile Safari/537.36"
По большей части боты из Китая, Гонконга и Сингапура маскируются под google. Получается, что в день было с них не один миллион обращений, что ну уж очень сильно нагружало сервер. Если и парсят контент, то каким же нужно быть криворуким, что бы так варварски нагружать сервер, думая, что хозяин не заметит.
Пришлось заблокировать 3 страны на уровне nginx CN,SG,HK. Нагрузка сразу же упала, но и google analytic показал - 40% посещаемости. Пока не заню, как это скажется на доход и прочее, пару дней прошло.
Вы как выходили из данной ситуации?
---------- Post added 17-09-2019 at 10:13 ----------
Слева на графике видно, как сильно нагружался сервер.