Веб-парсинг в Python. Создайте собственное промежуточное ПО в Scrapy

О чём курс

Веб-парсинг часто буксует, когда сайт начинает блокировать запросы или выдавать ошибки 503 вместо данных. Этот курс учит преодолевать такие барьеры, обучая разработке собственного промежуточного ПО (middleware) для фреймворка Scrapy. Вы перестанете зависеть от готовых решений или советов на Stack Overflow и научитесь глубоко понимать архитектуру Scrapy, чтобы самостоятельно управлять движком, планировщиком и загрузчиком. В результате вы сможете автоматизировать обход блокировок, настройку ротации прокси и стабильный сбор данных с любых ресурсов.

Программа обучения

  • Архитектура Scrapy Framework
    • Взаимодействие Engine, Scheduler, Downloader и Spider
  • Основы разработки промежуточного ПО (Middleware) в Scrapy
  • Практическое применение: создание middleware с нуля
  • Решение распространенных проблем парсинга:
    • Обработка ошибок (например, HTTP 503)
    • Вращение прокси и обход блокировок
Складчина создана 6 ноября 2020 г. · описание обновлено 23 марта 2026 г.
192 ₽ 1 790 ₽