Мастер-класс по локальному ИИ: LLM, диффузионные модели и ИИ-агенты на вашем ПК

Арнольд Оберлейтер разбирает, как запустить языковые модели, генерацию изображений и видео и ИИ-агентов на собственном компьютере, а затем связать их в локальную систему. Курс ведётся на английском языке.

Локальные модели и оборудование

Вы разберёте, как работают языковые и диффузионные модели, RAG и эмбеддинги. Автор объясняет требования к GPU, VRAM и RAM, особенности объединённой памяти, различия между Apple Silicon и NVIDIA, а также влияние квантования FP16, BF16, Q8, Q4 и формата GGUF на работу моделей.

Для запуска языковых моделей используются Ollama, LM Studio и Anything LLM. Среди рассматриваемых семейств моделей — Qwen, DeepSeek, Gemma и Mistral; для работы с изображениями автор показывает Stable Diffusion, Flux и другие диффузионные модели. Вы также разберёте промпты, вызов функций, компьютерное зрение и распознавание текста на изображениях.

Работа со своими данными

Автор показывает, как подготовить данные в Markdown, разбить их на фрагменты с перекрытием и использовать для поиска по собственной базе знаний. Вы разберёте векторные базы данных, Supabase, Postgres и SQL, подключите Anything LLM к Ollama и соберёте RAG-чатбота. Отдельные сценарии охватывают голосовое взаимодействие и извлечение данных из изображений, PDF-файлов и счетов.

Изображения, видео и аудио

Для локальной генерации изображений рассматриваются ComfyUI, Forge, Fooocus и Automatic1111. Автор показывает работу со сценариями генерации, обучение LoRA, применение ControlNet, редактирование изображений, создание видео из текста и изображений и анимацию персонажей. Аудиоблок включает распознавание и синтез речи, клонирование голоса и генерацию музыки.

Автоматизация и безопасность

Вы свяжете локальные инструменты через n8n, Flowise, Open WebUI и MCP. В курс входят триггеры, вебхуки, подключение внешних сервисов, RAG-агенты, автоматизация генерации изображений и видео, а также установка n8n, Supabase и Open WebUI через Docker.

Автор разбирает приватность локальной инфраструктуры, лицензии с открытым исходным кодом и риски при работе с ИИ: внедрение запросов, обход ограничений, галлюцинации и уязвимости MCP. Среди сценариев применения — локальная система ИИ для бизнеса и предприятий.

Для кого

Курс рассчитан на предпринимателей и самозанятых специалистов, разработчиков, технических специалистов, энтузиастов ИИ, частных пользователей, которым важна приватность, и компании, планирующие объединить локальные модели с автоматизацией.