Google задокументировал REP и исходный код парсера robots.txt спустя 25 лет
Компания Google задокументировала правильное использование стандарта исключений для роботов (Robots Exclusion Protocol, REP) и отправила данный проект в Инженерный совет Интернета (Internet Engineering Task Force, IETF), а также опубликовала исходный код парсера robots.txt. Это произошло спустя 25 лет после того, как веб-мастер Мартин Костер (Martijn Koste) разработал первый стандарт исключений для роботов.
Созданный в 1994 году протокол предназначен для того, чтобы ограничивать поисковым роботам доступ к серверным файлам ... Читать дальше...