Clickhouse для аналитиков и инженеров данных

Занятие 1. Архитектура Clickhouse Какие бывают СУБД. Реляционные и нереляционные, строковые и колоночные, транзакционные и нетразакционные, ACID & BASE Особенности Clickhouse. Выбранные при разработке СУБД компромисы. CAP теорема и гарантии отказоустойчивости и целостности данных Области применения Clickhouse. Как надо и как не надо. Строковые и колоночные данные. Отличие Postgres vs Clickhouse Архитектура Clickhouse. Шарды и реплики. Zookeeper, Clickhouse keeper. Практика Поднимаем Clickhouse на Ubuntu в простейших случаях, single инсталляция. Подключение к СУБД через clickhouse-client, DBeaver. Создаем таблицы - от простого к сложному. Типы данные в Clickhouse, кодеки, движки для single инсталляции Подключаемся через SQL Driver (JDBC), по HTTP, через Python. Как устроено подключение к Кликхаусу «под капотом». Как отконфигурировать систему, базовые текстовые конфиги. Популярные оптимизации. Лучшие практики для различных ситуаций. Занятие 2. Данные внутри Clickhouse Движок MergeTree, LSN Tree. Data Parts. Слияния и мутации данных Реальный формат хранения данных на диске под капотом Clickhouse. Особенности хранения. Как они влияют на производительность SQL. Работа с дисковой подсистемой. Температурная карта хранения на различных типах дисков и работа с S3. Вставка данных большими батчами. Лучшие практики. Заводим таблицу в Clickhouse - режим эксперта. Какие есть опции и команды Практика: Исследуем data parts на диске и в служебных таблицах Clickhouse. Изучаем оптимизации и слияния данных. Как понять по data parts, что данные успешно принято СУБД. Data Parts в файловой системе - как хранятся данные на диске. Какое влияние оказывается на ФС и систему в различных ситуациях и режимах эксплуатации. CREATE TABLE - режим эксперта. Продвинутые кодеки и оптимизация хранения. TTL, температурная карта и т.д. Занятие 3. Использование Clickhouse в приложениях Как подключиться к Clickhouse: HTTP, JDBC. Балансировка подключений. Дополнительнеы инструменты для управления подключениями в современных архитектурах приложений. Шардирование данных. Локальность. Как приложение узнает, куда ему полючиться в сложной конфигурации кластеров Clickhouse. Примеры применения в архитектуре приложений. Кейс встроенной аналитики. Работа с большими потоками данных, масштабирование потока. Кейс данных SIEM. Кейс сборщика метрик, StatsHouse. Back to CAP Theorem. Консистентность данных в Clickhouse. BASE и его особенности. Что нужно понимать разработчку об особенностях СУБД и его поведении в различных ситуациях. Мониторинг здоровья Clikhouse. За чем нужно следить в кластере. Практика: подключаемся к clickhouse из python как пример совместной работы в приложениях Балансировка подключений к Clickhouse. Какие настройки и требования к балансировщикам нужно соблюдать, чтобы не совершать ошибок новичка. Делаем дашборды здоровья Clickhouse для Single, Cluster архтектур. Алертим о неполадках в кластере. Элементы OLTP сценарием - когда все-таки можно? Занятие 4. Обработка данных в Clickhouse Пайплайны в кластере Clickhouse. Еще раз о гаратиях BASE. Движки X-MergeTree - что нужно знать. Особенности представлений и их материализации в Clickhouse. MV into Table - когда используем. Работа с партициями Мутации данных. ALTER TABLE Clickhouse-way Следим за мутациями Clickhouse + Airflow. Clickhouse + DBT. Tips & Tricks. Оптимизации - кодеки данных. TTL и тепловая карта, вычислимые поля. Встроенные коннекторы: JDBC, S3, Kafka, Iceberg Практика: Используем Airflow + DBT для разработки пайплайнов на базе clickhouse. Когда ETL в Clickhouse - плохая идея. Архитектурыне пределы системы, примеры неудачных решений и варианты борьбы с ними («скорая помощь») и обходных путей. Кликхаус-специфичные практики для инженеров данных. Об оптимизации запросов - практические примеры для обработки больших данных. Тюнинг СУБД для работы с большими данными. Уровень кластера, сессии, запроса. Занятие 5. Аналитика данных в Clickhouse Особенности Clickhouse SQL Функции и дополнительные аналитические non-ANSI-SQL операторы к Clickhouse. Что полезно знать. Траблшутинг и планирование запросов. Что делать если запрос медленные или упал. Кластерный и одиночный Clickhouse с точки зрения написания SQL Tips & tricks. Что делать, если SQL запрос падает с ошибкой. Практика Используем дополнительные функции clickhouse SQL для аналитики. Аналитические кейсы: считаем ретеншн, АБ-тесты Занятие 6. Резерв для Q&A (сессии вопросов-ответов). Advanced опции Clickhouse + Lakehouse, Iceberg REST. Фичи Сlickhouse 26.x и другие нововведения