Парсинг и анализ данных на Python: от азов до автоматизации

60 участников

О чём курс

Вам нужен инструмент для сбора и обработки данных из внешних источников, который превращает сырой HTML или API-запросы в готовые аналитические отчёты. Внутри разбирается полный цикл: от написания мультипроцессных веб-скрейперов и хранения данных в SQLite до сложной визуализации трендов через Matplotlib и автоматической генерации PDF-документов. Материал ориентирован на разработчиков, которые уже знают основы Python и хотят автоматизировать рутинные задачи по сбору информации и созданию регулярной отчетности. Вы научитесь выстраивать пайплайны, которые самостоятельно парсят сайты, анализируют данные с помощью Pandas и отправляют готовые PDF-файлы на почту.

Программа обучения

    1. Анализ данных
    • Импорт и объединение данных (pandas, numpy)
    • Преобразование и фильтрация наборов данных
    • Математический аппарат линейной регрессии для предсказания трендов
    1. Парсинг данных
    • Работа с HTTP, JSON, XML и SOAP
    • Сбор неструктурированных данных из HTML
    • Разработка мультипроцессных роботов-пауков
    • Интеграция с базой данных SQLite
    1. Визуализация данных
    • Анатомия matplotlib и создание графиков
    • Визуализация зависимостей и регрессии (seaborn)
    • Анализ временных рядов, скользящих средних и «японских свечей»
    • Работа с гео-данными и построение фоновых картограмм (geopandas)
    1. Генерация отчетов и автоматизация
    • Работа с библиотеками reportlab, pypdf2, pdfkit, jinja2
    • Шаблонизация HTML и создание PDF из кода
    • Отправка email-отчетов с вложениями (smtplib, email)
Складчина создана 22 ноября 2022 г. · описание обновлено 23 марта 2026 г.

Другие материалы школы 11

I ITtensive Все материалы
80 ₽ 1 000 ₽