парсинг
дольше первой страницы не идёт
есть с помощью карты сайта - то не выгружает данные (title, description и т. д.)
Поисковому роботу отдаёт корректно страницы, проблем с индексацией нет
запрета на парсинг не стоит
С frog'оm проблем нет, другие сайты парсит
в чём причина тогда?