Настройка своего локального ИИ сервера с нуля Ollama+Open WebUI

О чём курс

Ринат Минязев показывает, как собрать локальный ИИ-сервер на Ollama и Open WebUI: запустить модели на своём оборудовании, открыть доступ команде через браузер и подключить собственный OpenAI-совместимый API. Вы начнёте с подбора видеокарты и модели, настроите сервер на Windows 11, а затем сможете развернуть его на Ubuntu Server.

Работа с моделями и данными

Автор разбирает размер контекста, квантизацию и расход видеопамяти, чтобы вы могли выбрать модель под свои задачи и оборудование. Вы установите Ollama, научитесь загружать, запускать, обновлять и удалять модели, контролировать место на диске и измерять скорость в токенах в секунду. Через Modelfile настроите системный промпт, температуру и длину контекста для собственной сборки модели.

В Open WebUI вы настроите доступ по локальной сети с компьютеров и телефонов, авторизацию пользователей и запуск интерфейса вместе с Ollama как служб Windows. Курс охватывает работу с PDF, Word и Excel через локальную модель, распознавание изображений с помощью vision-модели и расход памяти при одновременной работе нескольких человек. Автор также показывает маршрутизацию между серверами с разными моделями и подключение API к своим программам и скриптам.

Для кого и что понадобится

Курс рассчитан на системных администраторов и ИТ-специалистов, которым нужно организовать доступ сотрудников к локальному ИИ. Разработчики разберут OpenAI-совместимый API, а руководители и владельцы бизнеса — размещение модели и рабочих данных на собственном оборудовании. Материал также адресован тем, кто хочет собрать такой сервер дома; опыт программирования и машинного обучения не требуется.

Для практики нужен компьютер с видеокартой NVIDIA, желательно с 8 ГБ видеопамяти или больше, и Windows 11. Подбор оборудования входит в курс. Для заключительной части понадобится возможность установить Ubuntu Server второй системой; этот блок можно пропустить.

Как проходят занятия

Уроки включают скринкасты, текстовые инструкции с командами, разбор типичных ошибок и контрольные списки. Вы повторяете действия на своём оборудовании и выполняете три лабораторные работы: собираете модель через Modelfile, открываете Open WebUI по сети и разворачиваете сервер на Linux. В заключительной части автор знакомит вас с vLLM.

Доступ к урокам бессрочный; автор обновляет и дополняет курс. По итогам обучения предусмотрен сертификат.