Парсинг сайтов. Scrapy, Splash, Selenium, requests, bs4
О чём курс
Вам нужен инструмент для сбора данных с десятков сайтов одновременно — здесь показывают, как автоматизировать этот процесс на Python. Материал охватывает работу с динамическим контентом, который подгружается через JavaScript, а также имитацию действий реального пользователя для обхода ограничений. Вы разберете ключевые стеки для парсинга: от легких библиотек requests и BeautifulSoup4 до мощных фреймворков Scrapy и Selenium для сложных сценариев. Особое внимание уделено этичному парсингу и тому, как собирать информацию, не нарушая работу ресурсов. Программа подойдет тем, кто знает Python на базовом уровне и хочет освоить инструменты для автоматизированного извлечения данных.
Программа обучения
- Основы сбора данных с помощью requests и beautifulsoup4
- Использование Splash для обработки контента
- Работа с фреймворком Scrapy
- Создание проекта и запуск пауков
- Навигация по многостраничным сайтам
- Извлечение данных о товарах и переход на страницы элементов
- Применение Selenium для динамических сайтов
- Авторизация на сайтах
- Парсинг страниц с бесконечной прокруткой
- Использование XPath для поиска элементов на странице
- Этические аспекты парсинга и работа с файлом robots.txt
Другие материалы автора 12
AK Anna Kuzina Все материалыОтзывов пока нет. Будьте первым!
Это не розничная цена — это ваш взнос в складчину. Мы собираем группу участников и делим между ними стоимость официального доступа: каждый платит только свою долю, а получает весь материал. Чем больше участников, тем меньше взнос. После того как сумма собрана, мы оформляем официальный доступ и раздаём материалы всем, кто участвовал.
Нажмите кнопку «Получить доступ» на этой странице и следуйте инструкциям. Вас переведёт на форму оплаты — доступны все современные способы (карта, СБП, электронные кошельки). После оплаты на почту придёт письмо с доступом: материалы выдаются в разделе «Мои складчины» на нашем основном сайте skladchik.org. Учтите: в России skladchik.org открывается только через ускоритель интернета (VPN) — настроить его можно за пару минут по инструкции на skladchik-kak-voiti.online.
Да, конечно. Все материалы — видео, PDF, дополнительные файлы — можно скачать к себе на компьютер и пользоваться ими сколько угодно, без ограничений по времени. Ссылки остаются активными в вашей библиотеке «Мои складчины».