Scrapy: Python Web Scraping & Crawling

19 участников

О чём курс

Одно YouTube-видео или сбор данных вручную с маркетплейсов отнимают часы, но Scrapy позволяет автоматизировать выгрузку цен, отзывов и контактов с любого сайта в пару кликов. Вы научитесь управлять процессом сбора данных от простых списков до обхода сложных антифрод-систем и ограничений.

Внутри разбираются три ключевых блока:

  • Создание собственных пауков (spiders): настройка навигации по сайтам и автоматический переход по ссылкам.
  • Работа с данными: автоматический экспорт в форматы JSON, CSV, XML и интеграция с базами данных SQLite3, MySQL и MongoDB.
  • Обход защиты: использование пользовательских агентов (User-Agents) и прокси-серверов для стабильного сбора информации, на примере парсинга Amazon.

Курс рассчитан на Python-разработчиков и фрилансеров, которым нужны навыки для задач по сбору данных, подготовке датасетов для ML или лидогенерации. Итогом станет набор готовых сканеров, способных извлекать информацию с ресурсов любой сложности.

Программа обучения

  • Введение в Scrapy
  • Создание пауков (spiders) с нуля
  • Парсинг и очистка данных с веб-страниц
  • Работа с форматами экспорта: JSON, CSV, XML
  • Интеграция с базами данных: SQLite3, MySQL, MongoDB
  • Навигация по ссылкам и создание веб-сканеров
  • Авторизация на защищенных сайтах
  • Обход блокировок: использование прокси и User-Agents
  • Практический проект: комплексный парсинг Amazon
Складчина создана 15 марта 2019 г. · описание обновлено 23 марта 2026 г.
164 ₽ 850 ₽