Парсинг сайтов: Scrapy, Splash, Selenium, requests, bs4
О чём курс
Автоматизируйте сбор данных с любых веб-ресурсов, от простых HTML-страниц до сайтов с динамическим контентом и авторизацией. Внутри разбираются инструменты для разных задач: от легкого requests и BeautifulSoup до продвинутого Scrapy для многостраничных проектов и Selenium для имитации действий пользователя.
Курс сфокусирован на прикладных задачах парсинга:
- Использование XPath для точного поиска элементов на страницах.
- Обход защиты и работа с JavaScript-рендерингом.
- Этичный сбор данных и соблюдение правил файла robots.txt.
- Настройка пауков (spiders) для автоматизированного обхода товаров и категорий.
Программа ориентирована на начинающих Python-разработчиков, желающих освоить инструменты извлечения данных. Вы научитесь писать скрипты, которые самостоятельно переходят по страницам, авторизуются в личных кабинетах и выгружают информацию, даже если на сайте используется бесконечная прокрутка.
Программа обучения
- Основы сбора данных и настройка окружения
- Работа с библиотеками requests и beautifulsoup4
- Получение HTML-контента страниц
- Использование XPath для навигации по элементам
- Многостраничный парсинг: переход по ссылкам и постраничная навигация
- Работа с фреймворком Scrapy: создание проектов и настройка пауков
- Парсинг динамических сайтов с JavaScript
- Использование Splash для рендеринга страниц
- Авторизация на сайтах через Selenium
- Имитация поведения пользователя: бесконечная прокрутка
- Этические аспекты парсинга: правовые нормы и robots.txt
Отзывов пока нет. Будьте первым!
Это не розничная цена — это ваш взнос в складчину. Мы собираем группу участников и делим между ними стоимость официального доступа: каждый платит только свою долю, а получает весь материал. Чем больше участников, тем меньше взнос. После того как сумма собрана, мы оформляем официальный доступ и раздаём материалы всем, кто участвовал.
Нажмите кнопку «Получить доступ» на этой странице и следуйте инструкциям. Вас переведёт на форму оплаты — доступны все современные способы (карта, СБП, электронные кошельки). После оплаты на почту придёт письмо с доступом: материалы выдаются в разделе «Мои складчины» на нашем основном сайте skladchik.org. Учтите: в России skladchik.org открывается только через ускоритель интернета (VPN) — настроить его можно за пару минут по инструкции на skladchik-kak-voiti.online.
Да, конечно. Все материалы — видео, PDF, дополнительные файлы — можно скачать к себе на компьютер и пользоваться ими сколько угодно, без ограничений по времени. Ссылки остаются активными в вашей библиотеке «Мои складчины».