Вся база по Observability

Введение в Observability Теория: Основные аспекты Observability — метрики, логи, трейсы, профили Зачем нужна наблюдаемость для микросервисов Структурные отличия observability для монолитов и микросервисов Инструменты Observability: Prometheus, Graphite, Grafana, Grafana Alloy, Grafana Pyroscope, Grafana Tempo, OpenTelemetry, Loki, Jaeger, Clickhouse Практика: Настройка базового проекта на Go Интеграция базового мониторинга с Prometheus и с push gateway Интеграция с graphite Интеграция с Loki Примеры использования инструментов observability Пример сбора runtime-метрик golang приложения Метрики: основные концепции и работа с ними Теория: Разные подходы к работе с метриками: push vs pull Архитектура Prometheus Кардинальность метрик: что это и почему важно Влияние системы сбора метрик на производительность Эффективное именование метрик Разница бизнес-метрик и технических метрик Влияние метрик на принятие бизнес-решений Практика: Создание и экспорт пользовательских метрик: счетчики, гистограммы, таймеры, скаляры (gauges), summaries Анализ влияния высокой кардинальности на производительность Запросы и работа с метриками Теория: Как правильно писать запросы для визуализации — PromQL, VictoriaMetricsQL, SQL-источники Нюансы агрегаций — sum, avg, rate, increase, histogram_quantile Квантили, перцентили и как их корректно использовать Частые ошибки в запросах — double aggregation, неправильный rate, слишком «дорогие» запросы Практика: Написание базовых и сложных запросов Сравнение разных способов агрегации одной и той же метрики Управление метриками: агрегация, квантили, экспоненциальное скользящее среднее Визуализация и управление метриками Теория: Лучшие практики построения дашбордов Антипаттерны построения дашбордов Типы графиков и их применение: временные ряды, heatmap, гистограммы, gauges, etc. Как избежать перегруженных дашбордов 4 Golden Signals и их значение для мониторинга RED/USE методы построения дашбордов Практика: Создание дашбордов в Grafana для анализа Golden Signals Практическое задание: построить дашборд для микросервиса Продвинутая настройка Grafana: версионирование дашбордов, интеграция с несколькими источниками данных, переменные, зависимости переменных, кастомные визуализации, annotations, группировка панелей Логирование и структурированные логи Теория: Подходы к логированию: текстовые и структурированные логи Стандарты форматирования логов — JSON, OpenTelemetry Logs Фильтрация и нормализация логов Скрытие конфиденциальной информации Уход от ELK в сторону Grafana stack, плюсы и минусы использования ELK Практика: Интеграция структурированного логирования с logrus или zap, использование slog Настройка Loki для агрегации логов Использование fluentbit для фильтрации и отправки логов Написание запросов в Loki для анализа логов Уменьшение объема логов без потери данных Трейсинг Теория: Что такое трейсы и зачем они нужны Основы работы OpenTelemetry Trace Корреляция трейсов, логов и метрик OpenTelemetry как единый стандарт для метрик, логов и трейсов Архитектура и возможности OpenTelemetry Преимущества и сложности перехода на OpenTelemetry Observability асинхронных систем Автоматическая интеграция OpenTelemetry на уровне инфраструктуры (http, sql), интеграция и корреляция на стыке систем (сервис + БД + API gateway) Обзор последних трендов: eBPF для мониторинга (OpenTelemetry), AIOps Практика: Интеграция OpenTelemetry в приложение. Golang zero code instrumentation Настройка Jaeger для распределенного трейсинга Настройка Grafana Alloy для трейсинга Анализ проблем на основе трейсов (высокая latency, ошибки) Корреляция логов / метрик / трейсов (OpenTelemetry semantic conventions) Отладка сети с помощью OpenTelementry Автоматизация прокидывания requestId сквозь разные слои сервисов Миграция с Prometheus + Jaeger на OpenTelemetry Настройка сборщиков для метрик, логов, трейсов через OpenTelemetry Collector Управление алертингом Теория: Как писать запросы для алертов (prometheus, graphite) Алерты из метрик, алерты из логов Настройка порогов для Golden Signals Предотвращение перегрузки системы алертинга Автоматизация алертинга Дашборды для SLO Практика: Настройка Alertmanager Настройка алертинга в Grafana Написание запросов для сложных алертов Интеграция с уведомлениями (Slack, Email, PagerDuty) Маскирование ошибок неправильными запросами (примеры: transformNull, пропадание метрики) Observability как часть SRE — практики и проблемы эксплуатации Теория: Введение в SRE и роль Observability Error Budgets Применение Top-Down анализа Баланс между объемом данных и их ценностью: что хранить, а что — игнорировать Построение системы observability для N-сервисов Обработка синхронных/асинхронных взаимодействий Кейсы деградации цепочек вызовов Практика: Разработка observability для системы из нескольких Go-сервисов Анализ деградации цепочек вызовов через трейсы и метрики Стратегии для больших систем Теория: Построение наблюдаемости для системы из множества сервисов Подходы к массовой интеграции метрик в микросервисы: конфигурация экспортеров и SDK, шаблонизация дашбордов Автоматизация алертинга: CI/CD для observability Автоматизация деплоя observability-стека Как не перегрузить систему мониторинга сложными алертами Синхронные и асинхронные взаимодействия: мониторинг и алертинг Дизайн метрик и root cause analysis Борьба с избыточным количеством метрик Предсказания AI для алертинга Использование service mesh istio для улучшения наблюдаемости системы, kiali для визуализации Автоматизация сбора метрик на уровне инфраструктуры, header propagation Практика: Создание комплексного дашборда для системы из N-сервисов Написание эффективных запросов Настройка cross-service трейсов Проведение RCA с использованием метрик, логов и трейсов Автоматизация конфигураций метрик и алертов с помощью Helm и Terraform