Как проверить, что робот принадлежит Яндексу
Помогите выполнить пункты 2 и 4 из официального хелпа яндекса (https://yandex.ru/support/webmaster/robot-workings/check-yandex-robots.html). Не могу понять как это сделать: Как проверить, что робот принадлежит Яндексу. Для этого необходимо...
Как проверить, что робот принадлежит Яндексу. Для этого необходимо выполнить следующее:
- Для интересующего User-agent определите IP-адрес по логам вашего сервера.
- По IP-адресу определите доменное имя хоста с помощью обратного DNS-запрос.
- Проверьте, принадлежит ли хост Яндексу. Имена всех роботов Яндекса заканчиваются на yandex.ru, yandex.net или yandex.com. Если имя хоста имеет другое окончание, это означает, что робот не принадлежит Яндексу.
- Удостоверьтесь в корректности полученного имени. Для этого нужно использовать прямой DNS-запрос (forward DNS lookup), чтобы получить IP-адрес, соответствующий имени хоста. Он должен совпадать с IP-адресом, использованным при обратном DNS запросе. Если IP-адреса не совпадают, это означает, что полученное имя хоста поддельное.