Складчина Каталог
Мои курсы

Computer Vision Engineer: от детекции и Doc-AI до продакшна

10 участников
АМ Автор Алексей Малышкин

О чём курс

О чём курс

Алексей Малышкин ведёт вас от подготовки данных для компьютерного зрения до развёртывания сервиса с API, интерфейсом и мониторингом. Вы соберёте датасет, обучите модели детекции и сегментации, добавите трекинг и обработку документов, а затем измерите качество, скорость и стоимость инференса. Курс охватывает путь от разметки и экспериментов до обновления работающей модели.

Модели и данные

Для детекции используются YOLOv8, YOLO11 и RT-DETR, для сегментации — SAM. В блоке Doc-AI разбираются PaddleOCR и LayoutParser: результат распознавания приводится к JSON и записывается в базу данных. Вы также проверите качество разметки, примените аугментации и разберёте ошибки моделей.

Качество измеряется метриками mAP, IoU и Dice; отдельно рассматривается калибровка порогов доверия. Для работы сервиса автор включает постобработку и правила, в том числе NMS, а также отслеживание дрейфа данных и качества.

Сервис и развёртывание

Модели экспортируются в ONNX, OpenVINO и TensorRT. Для ускорения инференса разбираются батчинг, динамические входные данные, FP16 и квантизация INT8 на CPU и GPU. Сервисный слой строится с FastAPI и очередями Redis или RabbitMQ; в него входят ограничения частоты запросов, тайм-ауты, повторные попытки и структурированные логи.

Развёртывание включает Docker и Compose, мониторинг через Prometheus и Grafana, алерты и нагрузочное тестирование. Вы сравните p95-задержку и стоимость обработки, рассмотрите канареечные релизы, shadow-трафик и откат версий модели. Отдельно разбираются маскирование лиц и номеров, аудит доступа и расчёт ROMI для прикладных задач.

Практика и формат

Практические сценарии включают обнаружение пустых полок, сегментацию производственных дефектов и извлечение данных из чеков и актов. Для них предусмотрены метрики, отчёты или дашборды, а для обработки документов — запись в базу данных и контроль SLA эндпоинта. Каждый модуль заканчивается артефактом: моделью, скриптом инференса, эндпоинтом, отчётом либо дашбордом.

Занятия построены как короткая теория, работа с кодом, автопроверки и чек-листы. Репозитории сопровождаются Makefile, docker-compose и инструкциями по запуску. В финале вы разворачиваете сервис с мониторингом и отчётом по метрикам.

Программа обучения

Секция 1. Введение и быстрый старт:

  • Урок 1. Как будем работать: цели, стек, проекты
  • Урок 2. Окружение: venv vs Docker/Compose (минимум)
  • Урок 3. CLI/утилиты для CV
  • Урок 4. Метрики CV простым языком
  • Урок 5. Бенчмарк CPU/GPU (если есть)
  • Урок 6. Git/Make/README как контракт воспроизводимости Секция 2. Данные и разметка:
  • Урок 1. Сбор данных и схема классов
  • Урок 2. Разметка детекции (Label Studio/Roboflow)
  • Урок 3. Разметка сегментации (semantic/instance)
  • Урок 4. Разметка документов (Doc-AI)
  • Урок 5. Валидация датасета
  • Урок 6. Аугментации и синтетика Секция 3. Детекция: YOLO / RT-DETR:
  • Урок 1. YOLO — базовая тренировка (сложный)
  • Урок 2. Рецепты улучшения: EMA, cosine LR, freeze, AMP (сложный)
  • Урок 3. RT-DETR — альтернатива для продакшна (сложный)
  • Урок 4. Постпроцесс и калибровка порогов
  • Урок 5. Экспорт детектора в ONNX (сложный)
  • Урок 6. Error analysis детектора Секция 4. Сегментация: SAM и адаптеры:
  • Урок 1. SAM — принципы и промпты (сложный)
  • Урок 2. Fine-tune SAM: адаптер/LoRA (сложный)
  • Урок 3. Instance vs semantic — метрики и выводы
  • Урок 4. Постпроцесс масок
  • Урок 5. Экспорт сегментации в ONNX (сложный)
  • Урок 6. Витрина: сегментация дефектов + отчёт брака Секция 5. Doc-AI: OCR + layout → JSON → БД:
  • Урок 1. OCR базовый (PaddleOCR) (сложный)
  • Урок 2. Layout/структура документов (сложный)
  • Урок 3. Нормализация полей и правила
  • Урок 4. Контракт JSON и валидация схемы
  • Урок 5. API /doc-parse и запись в БД
  • Урок 6. Витрина: Doc-AI end-to-end (сложный) Секция 6. Экспорт и ускорение (ONNX/OpenVINO/TensorRT):
  • Урок 1. ONNXRuntime на CPU (сложный)
  • Урок 2. OpenVINO: IR и INT8 PTQ (сложный)
  • Урок 3. TensorRT: FP16/INT8 на GPU (сложный)
  • Урок 4. Батчинг и конвейерность
  • Урок 5. Стоимость инференса
  • Урок 6. Кейс «до/после» оптимизаций Секция 7. Сервис: FastAPI, очереди, надёжность:
  • Урок 1. Базовый API /predict + OpenAPI
  • Урок 2. Очереди и воркеры (Redis/RabbitMQ) (сложный)
  • Урок 3. Rate limit, тайм-ауты, ретраи (сложный)
  • Урок 4. Структурированные логи и трассировка
  • Урок 5. Файлы, потоки, хранилища
  • Урок 6. Нагрузочное тестирование и HAR-реплеи Секция 8. Наблюдаемость, качество и дрейф:
  • Урок 1. Prometheus экспортёр
  • Урок 2. Grafana дашборд и алерты
  • Урок 3. Качество оффлайн и регрессия
  • Урок 4. Дрейф данных
  • Урок 5. Дрейф качества
  • Урок 6. Отчётность для бизнеса Секция 9. Деплой и релизы:
  • Урок 1. Docker-образы для CV
  • Урок 2. Compose-стек: API + Redis + Prom + Grafana
  • Урок 3. Blue-Green и Canary (сложный)
  • Урок 4. Shadow-traffic
  • Урок 5. Версионирование весов и откаты
  • Урок 6. CI/CD минимум (сложный) Секция 10. Приватность, безопасность и ROMI. Финал:
  • Урок 1. Приватность изображений (PII)
  • Урок 2. Security-базис сервиса
  • Урок 3. ROMI для SMB-кейсов
  • Урок 4. Финальный проект: Retail «пустые полки» (сложный)
  • Урок 5. Финальный проект: Пром «дефекты»
  • Урок 6. Финальный проект: Doc-AI «чеки/акты» (сложный)
Складчина создана 18 апреля 2026 г. · описание обновлено 25 октября 2026 г.

Теги курса

Профессии
РазработчикML-инженер
Навыки
CI/CD

Другие материалы автора 11

АМ Алексей Малышкин Все материалы
Vector DB & RAG Developer Vector DB & RAG Developer 291 ₽ 5 990 ₽ −95%LangChain: c нуля до продакшн LLM-приложений LangChain: c нуля до продакшн LLM-приложений 1 228 ₽ 8 990 ₽ −86%Проверка гипотез и анализ данных на Python Проверка гипотез и анализ данных на Python 98 ₽ 999 ₽ −90%AI Agents PRO: LangGraph, AutoGen и LLMOps в продакшне AI Agents PRO: LangGraph, AutoGen и LLMOps в продакшне 1 602 ₽ 15 990 ₽ −90%LLMOps & Evaluation: из песочницы в продакшн LLMOps & Evaluation: из песочницы в продакшн 1 429 ₽ 12 990 ₽ −89%RAG Engineer PRO RAG Engineer PRO 1 420 ₽ 18 990 ₽ −93%Developer PRO: Python-разработчик + Алгоритмы + Bash/Git Developer PRO: Python-разработчик + Алгоритмы + Bash/Git 744 ₽ 5 010 ₽ −85%LLM Security PRO: Prompt Injection, утечки, tool-abuse LLM Security PRO: Prompt Injection, утечки, tool-abuse 1 310 ₽ 12 990 ₽ −90%Data Engineering Fast‑Track: Kafka → Airflow → Spark Data Engineering Fast‑Track: Kafka → Airflow → Spark 1 164 ₽ 8 990 ₽ −87%Vibecoding: Claude Code, Codex, Cursor и agentic development Vibecoding: Claude Code, Codex, Cursor и agentic development 873 ₽ 12 990 ₽ −93%FastAPI начальный уровень FastAPI начальный уровень 874 ₽ 2 890 ₽ −70%

Ещё интересные курсы 12

Ещё интересные курсы

2 378 ₽ 19 900 ₽