Парсинг сайтов: Scrapy, Splash, Selenium, requests, bs4

7 участников

О чём курс

Автоматизируйте сбор данных с любых веб-ресурсов, от простых HTML-страниц до сайтов с динамическим контентом и авторизацией. Внутри разбираются инструменты для разных задач: от легкого requests и BeautifulSoup до продвинутого Scrapy для многостраничных проектов и Selenium для имитации действий пользователя.

Курс сфокусирован на прикладных задачах парсинга:

  • Использование XPath для точного поиска элементов на страницах.
  • Обход защиты и работа с JavaScript-рендерингом.
  • Этичный сбор данных и соблюдение правил файла robots.txt.
  • Настройка пауков (spiders) для автоматизированного обхода товаров и категорий.

Программа ориентирована на начинающих Python-разработчиков, желающих освоить инструменты извлечения данных. Вы научитесь писать скрипты, которые самостоятельно переходят по страницам, авторизуются в личных кабинетах и выгружают информацию, даже если на сайте используется бесконечная прокрутка.

Программа обучения

  • Основы сбора данных и настройка окружения
  • Работа с библиотеками requests и beautifulsoup4
  • Получение HTML-контента страниц
  • Использование XPath для навигации по элементам
  • Многостраничный парсинг: переход по ссылкам и постраничная навигация
  • Работа с фреймворком Scrapy: создание проектов и настройка пауков
  • Парсинг динамических сайтов с JavaScript
  • Использование Splash для рендеринга страниц
  • Авторизация на сайтах через Selenium
  • Имитация поведения пользователя: бесконечная прокрутка
  • Этические аспекты парсинга: правовые нормы и robots.txt
Складчина создана 24 ноября 2022 г. · описание обновлено 23 марта 2026 г.
424 ₽ 899 ₽