Парсинг API на Python

О чём курс

Павел Хошев учит получать и обрабатывать данные API с помощью Python и библиотеки requests. Практика построена на учебном приложении, которое собирает сведения о курсах: вы будете запрашивать карточки, рейтинги, отзывы, промокоды, статистику, состав команд авторов и поисковые логи. Теоретические объяснения и квизы помогают разобраться в устройстве API перед выполнением запросов.

Запросы и ответы

Вы научитесь читать документацию API и выбирать нужные эндпоинты, параметры и форматы ответа. В requests разберёте запросы GET и POST, передачу параметров, заголовков, cookies и таймаутов. Работа с Response включает проверку кодов состояния, заголовков, тела ответа и Content-Type.

Ответы в JSON вы будете разбирать с учётом вложенных структур, пустых списков, null и неожиданных типов данных. Курс охватывает приведение дат, цен, рейтингов и вложенных полей к удобному виду, а также сохранение результатов в JSON и CSV.

Устойчивый сбор данных

Для последовательного получения данных рассматриваются query- и path-параметры, пагинация, пакетные запросы и ограничения частоты обращений к API. Отдельно разбираются Session, повторные попытки запросов и HTTP-адаптеры. Вы познакомитесь с API Key, Bearer Token, JWT, Basic Auth, cookie-сессиями и OAuth, а также с хранением ключей и токенов.

В материалах есть объяснение сжатия HTTP-ответов с помощью gzip, deflate, br и zstd. Раздел о прокси охватывает их подключение и проверку, типы прокси и стратегии ротации; в исходном материале он обозначен как находящийся в разработке.