Создайте ИИ-робота с использованием Android-смартфона, ESP32 и micro:bit

О чём мастер-класс

Пол Чин показывает, как собрать робота SAM с Android-смартфоном в роли управляющего устройства. Вы создадите приложение в MIT App Inventor: оно распознаёт речь, отвечает голосом, отображает глаза и выражения на экране, а также использует камеру для распознавания и отслеживания лица и объектов. Основной акцент автор делает на разговорном поведении, характере робота и взаимодействии с человеком.

Варианты сборки

Вы можете ограничиться смартфоном либо дополнить SAM платой ESP32 или набором micro:bit. В варианте с ESP32 телефон передаёт команды по Bluetooth Classic, а плата управляет моторами; для её программирования используют Arduino IDE. В варианте с micro:bit команды передаются по Bluetooth BLE, а программирование платы выполняют в Microsoft MakeCode. ESP32 и micro:bit для прохождения мастер-класса необязательны.

Что внутри

Программа идёт от корпуса и подключения моторов к приложению для Android. Вы настроите Bluetooth-связь, распознавание речи и лица, отслеживание, экранные глаза, чат-бота и сборку APK. Затем предусмотрены дополнительные функции: голосовые команды, распознавание изображений, собственные расширения, локальный запуск языковой модели, долговременная память и Sam API. Автор также разбирает типичные проблемы со связью, моторами и логикой приложения.

Для кого и что потребуется

Мастер-класс рассчитан на новичков, студентов, любителей робототехники, мейкеров и преподавателей STEM. Предварительный опыт программирования не требуется: MIT App Inventor и Microsoft MakeCode используют визуальные блоки. Нужны Android-телефон и ПК с Windows; базовые навыки подключения электронных компонентов пригодятся только при сборке физического робота.

Для расширенных функций автор предлагает необязательное подключение OpenAI API с ключом либо локальную альтернативу. Материал представлен на английском языке. По словам автора, к концу мастер-класса вы сможете собрать работающего интерактивного робота, объединив приложение и выбранную аппаратную конфигурацию.