Парсинг сайтов. Scrapy, Splash, Selenium, requests, bs4

42 участника

О чём курс

Вам нужен инструмент для сбора данных с десятков сайтов одновременно — здесь показывают, как автоматизировать этот процесс на Python. Материал охватывает работу с динамическим контентом, который подгружается через JavaScript, а также имитацию действий реального пользователя для обхода ограничений. Вы разберете ключевые стеки для парсинга: от легких библиотек requests и BeautifulSoup4 до мощных фреймворков Scrapy и Selenium для сложных сценариев. Особое внимание уделено этичному парсингу и тому, как собирать информацию, не нарушая работу ресурсов. Программа подойдет тем, кто знает Python на базовом уровне и хочет освоить инструменты для автоматизированного извлечения данных.

Программа обучения

  • Основы сбора данных с помощью requests и beautifulsoup4
  • Использование Splash для обработки контента
  • Работа с фреймворком Scrapy
    • Создание проекта и запуск пауков
    • Навигация по многостраничным сайтам
    • Извлечение данных о товарах и переход на страницы элементов
  • Применение Selenium для динамических сайтов
    • Авторизация на сайтах
    • Парсинг страниц с бесконечной прокруткой
  • Использование XPath для поиска элементов на странице
  • Этические аспекты парсинга и работа с файлом robots.txt
Складчина создана 14 сентября 2021 г. · описание обновлено 23 марта 2026 г.

Другие материалы автора 12

AK Anna Kuzina Все материалы
98 ₽ 1 090 ₽