ML-инженер с модулем по ИИ
О чём курс
О чём курс
Вы пройдете полный жизненный цикл ML-проектов: выполните предварительную обработку данных, обучите модели, внедрите их в продакшн и настроите мониторинг. В программу подготовки специалистов по машинному обучению входит разбор классических алгоритмов машинного обучения, глубоких нейросетей и прикладных инструментов искусственного интеллекта.
Для кого
Программа рассчитана на специалистов, обладающих базовыми техническими знаниями:
- новичков в машинном обучении с опытом написания базового синтаксиса Python;
- математиков с пониманием линейной алгебры, теории вероятностей и математической статистики, желающих освоить разработку;
- аналитиков данных, умеющих составлять SQL-запросы и знающих основы Python.
Перед началом основного обучения предусмотрен подготовительный модуль для выравнивания знаний по математике и программированию.
Что внутри
Обучение начинается с работы с базами данных на SQL и исследовательского анализа данных на Python. Далее рассматриваются задачи подготовки признаков, обучение линейных и нелинейных моделей, ансамблевые методы, обучение без учителя, а также проектирование нейросетей с использованием библиотеки PyTorch и архитектуры трансформеров.
Инженерный блок программы включает разработку REST API, контейнеризацию сервисов с помощью Docker, автоматизацию пайплайнов, проведение A/B-тестирования и настройку мониторинга. В расширенной части курса изучаются распределённая обработка больших данных в Apache Spark, классические методы обработки естественного языка, построение RAG-систем и дообучение больших языковых моделей (LLM).
Отдельный блок посвящён интеграции генеративных нейросетей в повседневную работу инженера: написанию промптов, генерации кода и запросов, отладке и автоматизации рутинных задач.
Формат
Программа рассчитана на срок от 12 до 16 месяцев при примерной учебной нагрузке около 15 часов в неделю. Практическая часть включает от 18 до 25 прикладных проектов, решение сквозных бизнес-кейсов, участие в хакатоне и блок подготовки к техническим собеседованиям.
Программа обучения
- Бесплатная часть:
- Побудете в роли ML-инженера, пройдёте тест и поймёте, нужен ли вам подготовительный модуль. 6 часов обучения.
- Кто такой ML-инженер
- Кейс ModaFlow
- Как обучить модель на исходных данных
- Как создать новые признаки
- Как настроить модель
- Практика: поработаете с готовой моделью и улучшите результаты её предсказания
- Входной тест: выполните тест, который поможет понять, достаточно ли у вас знаний и нужно ли проходить подготовительный модуль
- Подготовительный модуль (необязательный, 2–6 недель):
- Это необязательный блок, который даёт базовые технические знания, чтобы вы уверенно чувствовали себя на старте программы
- Основы SQL
- Основы Python
- Линейная алгебра
- Математический анализ
- Теория вероятностей
- 1 спринт. Обработка данных в SQL:
- Введение в машинное обучение
- Связи между таблицами
- Работа с пропущенными значениями и дубликатами
- Присоединение таблиц
- Операции множеств и подзапросы
- Категоризация значений, создание новых столбцов
- Работа с датой и временем
- Практика: написание SQL-запросов в рамках задачи по подготовке данных
- Анализ данных и решение ad-hoc-задач. 1 проект
- 2 спринт. Знакомство с базами данных:
- Оконные и агрегирующие функции
- Оконные ранжирующие функции
- Оконные функции смещения
- Описательная статистика, аналитические функции
- Практика: решение ad-hoc-задач
- Проект: решение аналитических запросов с помощью SQL. 1 проект
- 3 спринт. Большой проект по обработке данных:
- Закрепите навыки обработки данных: очистите и подготовите их для анализа, соберёте витрину данных для решения задачи бизнеса, оформите отчёт
- Проект: обработка данных и создание витрины для решения бизнес-задачи 1 проект
- 4 спринт. Предобработка данных в Python:
- Основы библиотеки pandas, обзор данных
- Типы данных, работа с датой и временем
- Индексация в датафреймах, фильтрация данных
- Предподготовка данных
- Категоризация данных
- Практика: подготовка сырых данных для анализа с помощью Python. 1 проект
- 5 спринт. Исследовательский анализ и визуализация с Python:
- Объединение датафреймов, срезы данных
- Описательная статистика
- Взаимосвязь переменных
- Визуализация для изучения данных
- Сводные таблицы
- Пример исследовательского анализа данных
- Проект: исследовательский анализ данных для решения бизнес-кейса. 1 проект
- 6 спринт. Инструменты разработки и основы ООП:
- Командная строка и терминал
- Виртуальное окружение Git
- Парадигмы программирования
- Принципы ООП
- Практика: создание класса предобработки данных и размещение в Git. 1 проект
- 7 спринт. Большой проект по исследовательскому анализу:
- Проведёте исследовательский анализ и визуализируете результаты, оформите своё исследование в виде структурированного Python‑приложения и полноценного репозитория на GitHub
- Проект: исследовательский анализ и визуализация, разработка в IDE и Git 1 проект
- 8 спринт. Подготовка данных для машинного обучения:
- Перевод бизнес-задачи в ML-формат
- Разделение данных
- Кодирование и нормализация признаков
- Feature engineering
- Проект: перевод бизнес-проблемы в ML-формат, подготовка данных для обучения моделей. 1 проект
- 9 спринт. Первые модели и оценка качества:
- Выбор метрик качества
- Обучение линейной регрессии
- Обучение логистической регрессии
- Проведение кросс-валидации
- Проект: обучение базовых моделей и оценка их качества. 1 проект
- 10 спринт. Продвинутые линейные модели и регуляризация:
- Переобучение и недообучение
- Регуляризация (L1, L2)
- Метод опорных векторов (SVM)
- Многоклассовая классификация
- Проект: применение продвинутых линейных моделей в задачах классификации. 1 проект
- 11 спринт. Нелинейные модели и деревья решений:
- Метод k-ближайших соседей (KNN)
- Деревья решений
- Управление сложностью моделей, предотвращение переобучения
- Автоматический подбор гиперпараметров с Optuna
- Анализ важности признаков
- Практика: обучение нелинейных моделей, контроль сложности и оптимизации гиперпараметров
- 12 спринт. Ансамблевые методы:
- Концепция ансамблей и дилемма смещения-разброса
- Бэггинг и Random Forest
- MLflow для логирования экспериментов
- Бустинг и современные библиотеки
- Стэкинг моделей
- Проект: применение ансамблевых методов, трекинг экспериментов. 1 проект
- 13 спринт. Продвинутый отбор признаков и интерпретация предсказаний модели:
- Автоматический отбор признаков
- Отбор признаков и сравнение экспериментов в MLflow
- Интерпретация моделей с SHAP и сохранение результатов
- Работа с дисбалансом классов
- Проект: автоматический отбор признаков, интерпретация моделей и управление ML‑экспериментами. 1 проект
- 14 спринт. Обучение без учителя:
- Задачи обучения без учителя
- Снижение размерности
- Кластеризация и поиск аномалий
- Оценка качества кластеризации
- Практика: применение методов обучения без учителя для задачи кластеризации
- 15 спринт. Введение в нейронные сети и основы PyTorch:
- Введение в нейронные сети
- Обучение нейронных сетей
- Введение в PyTorch
- Проект: обучение MLP-классификатора для текстов. 1 проект
- 16 спринт. Рекуррентные нейросети и трансформерные модели:
- Работа с последовательными данными
- Простые RNN: теория и практика
- Продвинутые RNN: GRU, LSTM, Bidirectional
- Основы механизма внимания и трансформеров
- Проект: обучение нескольких нейросетей с разными архитектурами для задачи автодополнения. 1 проект
- 17 спринт. Большой проект по ML-алгоритмам:
- Создадите полноценный ML-проект — от анализа бизнес-задачи до презентации готового решения
- Проект: извлечение данных из SQL, полный цикл разработки модели, документирование в Git и защита проекта 1 проект
- Дополнительно. Инструменты для ускорения ML-разработки:
- Автоматизация исследовательского анализа данных
- Автоматизация подготовки данных и моделирования
- Поиск оптимальных моделей с помощью AutoML-библиотек
- Предобученные модели для решения прикладных задач
- Практика: полный пайплайн с автоматическим EDA, подготовкой данных, обучением модели при помощи инструментов для ускорения ML-разработки
- 18 спринт. Построение ML-пайплайнов и оркестрация:
- Структурированные ML-процессы со sklearn.pipeline
- Версионирование и воспроизводимость с DVC
- Настройка и оркестрация ML-процессов с Airflow
- Проект: создание автоматизированного ML-пайплайна с версионированием и оркестрацией. 1 проект
- 19 спринт. Разработка веб-сервисов на базе REST API:
- Введение в веб-разработку для ML-инженеров
- REST API: принципы и HTTP-методы
- FastAPI: создание ML-сервисов
- Тестирование и документирование API
- Проект: создание веб-сервиса для ML-модели с полным тестированием. 1 проект
- 20 спринт. Контейнеризация веб-сервисов:
- Контейнеризация и роль Docker в ML-проектах
- Работа с Docker: образы, контейнеры, Dockerfile
- Автоматизация пайплайна создания ML-приложений
- Проект: контейнеризация приложения с Docker. 1 проект
- 21 спринт. A/B-тесты и мониторинг:
- A/B-тестирование в ML: принципы и планирование
- Статистический анализ результатов A/B-тестов
- Системы мониторинга в Prometheus
- Визуализация и дашборды для ML-метрик
- Проект: проведение A/B-тестирования и настройка мониторинга с Prometheus/Grafana. 1 проект
- 22 спринт. Большой проект по внедрению модели в продакшн:
- Интегрируете все изученные навыки в комплексном проекте
- Проект: создание полной ML-системы с пайплайном обработки данных, API для модели, контейнеризацией и мониторингом 1 проект
- Дополнительно. Подготовка к техническим собеседованиям:
- Алгоритмические задачи на Python
- SQL-задачи
- Статистика и A/B-тесты
- Вопросы по теории ML
- Применение NLP для работы с текстами
- 23 спринт. Итоговый проект базового тарифа:
- Пройдёте весь жизненный цикл ML-проекта, учитывая потребности бизнеса и применяя полученные навыки
- Проект: полный цикл работы над моделью машинного обучения 1 проект
- 24 спринт. Нейросети для ML-инженеров:
- Навыки работы с ИИ сейчас так же важны, как и хардскилы. Поэтому модуль по нейросетям входит в базовую программу. В нём вы узнаете, как устроены нейросети, освоите промпт‑инжиниринг и научитесь выбирать AI-инструменты для разных задач. После обучения сможете применять ИИ в работе:
- Генерировать SQL-запросы по бизнес-требованиям
- Создавать и корректировать формулы в таблицах
- Разрабатывать фрагменты кода на Python
- Проводить диагностику кода и исправлять в нём ошибки
- Брейнштормить гипотезы для исследований
- Анализировать и структурировать бизнес-требования
- Делать пользовательские инструкции
- Выполнять первичный анализ табличных данных
- Визуализировать данные
- Готовить презентации
- Практика: освоите техники работы с ИИ для решения 10+ типовых задач по работе с данными
- 25 спринт. Основы работы с большими данными:
- Big Data: особенности, архитектура и принципы распределённых систем
- Экосистема Big Data и инструменты обработки
- Форматы данных и основные паттерны хранения
- PySpark для распределённых вычислений
- Проект: построение ETL-пайплайна анализа логов веб-сайта в PySpark. 1 проект
- 26 спринт. Обработка данных в Apache Spark:
- Архитектура и принципы работы Apache Spark
- Spark DataFrame API: сложные трансформации и агрегирование
- Spark SQL: аналитические запросы поверх больших данных
- Обработка вложенных структур
- UDF и pandas UDF: когда нужны и как применять
- Проект: построение аналитического пайплайна для анализа поведения пользователей. 1 проект
- 27 спринт. Классические методы NLP и подготовка текстов (совместно с ШАД):
- Препроцессинг текста: токенизация, очистка, стоп-слова, лемматизация и стемминг
- Статистические представления текста: Bag-of-Words и TF-IDF
- Семантические эмбеддинги: Word2Vec и FastText
- Проект: построение классического NLP-пайплайна для классификации отзывов. 1 проект
- 28 спринт. Архитектура трансформеров и устройство LLM:
- Внутреннее устройство трансформера
- Решение задач генерации, суммаризации текста и ответов на вопросы
- Производительность и инференс
- Проект: сравнительный анализ трансформерных архитектур для решения задачи суммаризации текста. 1 проект
- 29 спринт. Построение RAG-систем и методы поиска:
- Введение в RAG
- Векторный поиск и векторные базы данных
- Retrieval-методы
- Полнотекстовый поиск и дедупликация
- Проект: построение RAG-системы с векторным поиском и ранжированием. 1 проект
- 30 спринт. Мультимодальность и дообучение LLM:
- Методы адаптации LLM: pretrain, SFT и DPO
- Дообучение LLM
- Мультимодальные модели
- Анализ качества мультимодальных данных
- Проект: построение мультимодальной поисковой системы товаров. 1 проект
- 31 спринт. Проектный месяц:
- Выполните и защитите проект, который основан на реальной бизнес‑задаче. 1 проект
Теги курса
Другие материалы школы 12
ЯП Яндекс Практикум Все материалыОтзывов пока нет. Будьте первым!
Этот курс сейчас в процессе организации складчины. Нажмите кнопку «Записаться» и ожидайте старта — вам придёт уведомление. Когда складчина стартует, в карточке курса будет указан актуальный взнос. Текущая цена пока в процессе формирования и может отличаться от финальной.
Да, мы стремимся, чтобы финальный взнос был не больше ≈10% от оригинальной цены курса. Чем больше участников записывается в складчину, тем ниже выходит взнос для каждого.
Нажмите кнопку «Записаться» и авторизуйтесь на сайте через email (через ту же почту, которую будете использовать для входа). В личном кабинете вас будут ждать инструкции, как пригласить других участников — чем больше людей записалось, тем быстрее стартует складчина и тем ниже взнос. Как только складчина готова к приобретению, вам придёт уведомление.