160*600

Новости сегодня на DirectAdvert

Новости сегодня от Adwile

Актуальные новости сегодня от ValueImpression.com


Опубликовать свою новость бесплатно - сейчас




Загрузка...

Разработать парсер для картографического сайта

10
Название сайта: 2gis
Требования к техническому исполнению парсера:
Парсер должен быть реализован с использованием языка программирования python 3 версии.
В своей структуре парсер не должен использовать библиотеки для ароматизации браузеров (Selenium и аналогичные библиотеки).
Парсер должен иметь возможность работы через proxy.
Для целей маскировки парсера от различных систем обнаружения ботов, допускается потеря некоторой доли скорости при процессе парсинга.
К коду парсера также должны прилагаться комментарии, которые описывают принцип работы каждого логического блока. Т.е код должен быть хорошо прокомментирован.

В ходе своей работы парсер должен выводить в консоль:
  • Текущую категорию
  • Сколько страниц из текущей категории было обработано. Пример: страниц обработано: 5/12
Какие данные нужно парсить:
  • Название компании
  • описание компании
  • Ссылка на сайт
  • Название категории, к которой относится компания
Выгрузка полученных данных:
Полученная при парсинге информация должна добавятся в базу данных (MySQL). Перед добавлением информации о новой компании, должна производится проверка того, есть ли такая компания в базе данных.
Проверка качества выполненной работы:
Перед сдачей проекта будет проведена проверка качества работы. Проверка будет произведена путём передачи исполнителю ссылки на одну из категорий сайта.
Работа будет считаться выполненной если парсер скачает всю необходимую информацию из переданной категории.
Срок выполнения проекта:
3 дня



Персональные новости
Новости от PixFuture.com на News.123ru.net


Видео-новости от VDO.AI на News.123ru.net

Загрузка...

Комментарии

Комментарии для сайта Cackle

Читайте на 123ru.net



Другие популярные новости дня сегодня


123ru.net — быстрее, чем Я..., самые свежие и актуальные новости Вашего города — каждый день, каждый час с ежеминутным обновлением! Мгновенная публикация на языке оригинала, без модерации и без купюр в разделе Пользователи сайта 123ru.net.

Как добавить свои новости в наши трансляции? Очень просто. Достаточно отправить заявку на наш электронный адрес mail@29ru.net с указанием адреса Вашей ленты новостей в формате RSS или подать заявку на включение Вашего сайта в наш каталог через форму. После модерации заявки в течении 24 часов Ваша лента новостей начнёт транслироваться в разделе Вашего города. Все новости в нашей ленте новостей отсортированы поминутно по времени публикации, которое указано напротив каждой новости справа также как и прямая ссылка на источник информации. Если у Вас есть интересные фото Вашего города или других населённых пунктов Вашего региона мы также готовы опубликовать их в разделе Вашего города в нашем каталоге региональных сайтов, который на сегодняшний день является самым большим региональным ресурсом, охватывающим все города не только России и Украины, но ещё и Белоруссии и Абхазии. Прислать фото можно здесь. Оперативно разместить свою новость в Вашем городе можно самостоятельно через форму.



Новости 24/7 Все города России





Загрузка...


Топ 10 новостей последнего часа



Загрузка...






Новости России

123ru.net — ежедневник главных новостей Вашего города и Вашего региона. 123ru.net - новости в деталях, свежий, незамыленный образ событий дня, аналитика минувших событий, прогнозы на будущее и непредвзятый взгляд на настоящее, как всегда, оперативно, честно, без купюр и цензуры каждый час, семь дней в неделю, 24 часа в сутки. Ещё больше местных городских новостей Вашего города — на порталах News-Life.pro и News24.pro. Полная лента региональных новостей на этот час — здесь. Самые свежие и популярные публикации событий в России и в мире сегодня - в ТОП-100 и на сайте Russia24.pro. С 2017 года проект 123ru.net стал мультиязычным и расширил свою аудиторию в мировом пространстве. Теперь нас читает не только русскоязычная аудитория и жители бывшего СССР, но и весь современный мир. 123ru.net - мир новостей без границ и цензуры в режиме реального времени. Каждую минуту - 123 самые горячие новости из городов и регионов. С нами Вы никогда не пропустите главное. А самым главным во все века остаётся "время" - наше и Ваше (у каждого - оно своё). Время - бесценно! Берегите и цените время. Здесь и сейчас — знакомства на 123ru.net. Отели в Москве — здесь. Разместить свою новость локально в любом городе (и даже, на любом языке мира) можно ежесекундно (совершенно бесплатно) с мгновенной публикацией (без цензуры и модерации) самостоятельно - здесь.