Scrapy: Python Web Scraping & Crawling
О чём курс
Одно YouTube-видео или сбор данных вручную с маркетплейсов отнимают часы, но Scrapy позволяет автоматизировать выгрузку цен, отзывов и контактов с любого сайта в пару кликов. Вы научитесь управлять процессом сбора данных от простых списков до обхода сложных антифрод-систем и ограничений.
Внутри разбираются три ключевых блока:
- Создание собственных пауков (spiders): настройка навигации по сайтам и автоматический переход по ссылкам.
- Работа с данными: автоматический экспорт в форматы JSON, CSV, XML и интеграция с базами данных SQLite3, MySQL и MongoDB.
- Обход защиты: использование пользовательских агентов (User-Agents) и прокси-серверов для стабильного сбора информации, на примере парсинга Amazon.
Курс рассчитан на Python-разработчиков и фрилансеров, которым нужны навыки для задач по сбору данных, подготовке датасетов для ML или лидогенерации. Итогом станет набор готовых сканеров, способных извлекать информацию с ресурсов любой сложности.
Программа обучения
- Введение в Scrapy
- Создание пауков (spiders) с нуля
- Парсинг и очистка данных с веб-страниц
- Работа с форматами экспорта: JSON, CSV, XML
- Интеграция с базами данных: SQLite3, MySQL, MongoDB
- Навигация по ссылкам и создание веб-сканеров
- Авторизация на защищенных сайтах
- Обход блокировок: использование прокси и User-Agents
- Практический проект: комплексный парсинг Amazon
Отзывов пока нет. Будьте первым!
Это не розничная цена — это ваш взнос в складчину. Мы собираем группу участников и делим между ними стоимость официального доступа: каждый платит только свою долю, а получает весь материал. Чем больше участников, тем меньше взнос. После того как сумма собрана, мы оформляем официальный доступ и раздаём материалы всем, кто участвовал.
Нажмите кнопку «Получить доступ» на этой странице и следуйте инструкциям. Вас переведёт на форму оплаты — доступны все современные способы (карта, СБП, электронные кошельки). После оплаты на почту придёт письмо с доступом: материалы выдаются в разделе «Мои складчины» на нашем основном сайте skladchik.org. Учтите: в России skladchik.org открывается только через ускоритель интернета (VPN) — настроить его можно за пару минут по инструкции на skladchik-kak-voiti.online.
Да, конечно. Все материалы — видео, PDF, дополнительные файлы — можно скачать к себе на компьютер и пользоваться ими сколько угодно, без ограничений по времени. Ссылки остаются активными в вашей библиотеке «Мои складчины».