BARY AI Assistant

BARY AI Assistant

Введение

BARY AI Assistant — это модуль для управления умным домом голосом на русском языке.

Для работы пользователь произносит слово активации “Бари”, а затем команду: например, “включи свет на кухне”, “открой шторы” или “какая температура в спальне”. Ассистент распознаёт речь, находит подходящее устройство среди уже добавленных в BARY и выполняет команду.

Модуль не добавляет устройства самостоятельно. Он использует устройства, комнаты и их возможности из BARY, а затем строит по ним список голосовых команд.

Поддерживаемые платформы

BARY AI Assistant работает в составе сервера BARY и устанавливается как отдельный модуль.

Поддерживаемые платформы:

• Orange Pi / ARM64 Linux — рекомендуемый вариант для постоянной работы в умном доме;
• Linux x86 — сервер, мини-ПК или другой компьютер с Linux;
• macOS на Apple Silicon — компьютеры Mac с процессором M1 и новее.

Для сервера с Linux рекомендуется использовать оборудование с запасом по ресурсам, так как на нём одновременно работают BARY, распознавание речи VOSK и локальный ML-сервис.

Минимальная конфигурация для Linux-сервера:

• 64-битный процессор;
• 2 ядра CPU;
• 2 ГБ RAM;
• 8 ГБ свободного места на диске;
• стабильное подключение к локальной сети.

Рекомендуемая конфигурация:

• 4 ядра CPU;
• 4-8 ГБ RAM;
• SSD-накопитель;
• проводное подключение к сети.

Источники звука

Для голосового управления нужен источник звука. Им может быть:

• микрофон рядом с сервером;
• удалённый микрофон в комнате;
• браузер или планшет с открытым интерфейсом BARY, если пользователь находится рядом с этим устройством.

Для постоянной установки рекомендуется использовать отдельное устройство с микрофоном в комнате. В нашей схеме для этого используется микрофонный массив Seeed ReSpeaker USB Mic Array v2.0. Его удобно подключать к Raspberry Pi 3B+, который работает как удалённая точка распознавания речи и передаёт команды на сервер BARY.

У Seeed ReSpeaker USB Mic Array v2.0 есть световое кольцо. BARY AI Assistant может использовать его для индикации состояния: например, показывать режим ожидания, успешное распознавание команды или ошибку.

Сервер с модулем должен находиться в той же системе BARY, где уже добавлены устройства умного дома.

iPhone и Siri

BARY AI Assistant может получать команды не только как аудио с микрофона. В режиме интеграции с iPhone/Siri команда может приходить в модуль уже готовым текстом.

В этом случае Siri распознаёт речь на iPhone, а BARY AI Assistant получает текст команды и обрабатывает его по тем же правилам: учитывает слово активации, контекст коротких команд, комнаты и доступные устройства.

Такой режим удобен, если пользователь говорит команду рядом с iPhone или другим устройством Apple, а не рядом с удалённым микрофоном BARY.

Что подготовить для удалённого микрофона

Для удалённой точки распознавания речи понадобится отдельное устройство в локальной сети. Рекомендуемый вариант — Raspberry Pi 3B+ с подключённым Seeed ReSpeaker USB Mic Array v2.0.

Перед настройкой в BARY подготовьте:

• Raspberry Pi 3B+ или другое совместимое Linux-устройство;
• подключённый микрофон;
• доступ устройства к локальной сети;
• SSH-доступ к устройству;
• логин, пароль, адрес и порт SSH в формате user:password@host:port;
• комнату, в которой расположен микрофон.

Эти данные затем указываются в настройках Vosk Remote. Комната удалённого микрофона используется как контекст: если команда прозвучала с микрофона в кухне, ассистент в первую очередь будет учитывать кухню.

Базовый принцип работы

BARY AI Assistant работает с уже добавленными устройствами BARY. После запуска модуль получает список устройств, комнат и доступных возможностей: включение, выключение, яркость, температуру, шторы, датчики и другие функции.

На основе этого списка модуль формирует голосовые команды. Например, если в BARY есть свет на кухне, ассистент сможет сопоставить с ним фразы вроде “включи свет на кухне” или “выключи свет на кухне”.

Общий сценарий работы:

1. Пользователь произносит слово активации “Бари”.
2. После активации пользователь говорит команду.
3. Модуль распознаёт речь.
4. Команда сравнивается со списком известных команд для устройств BARY.
5. Если подходящая команда найдена, BARY выполняет действие.
6. При необходимости ассистент может озвучить ответ.

Если устройство не добавлено в BARY или для него не поддерживается нужная возможность, ассистент не сможет управлять им голосом.

Слово активации

Для обычного голосового управления используется слово активации “Бари”. Сначала пользователь произносит слово активации, затем команду.

Примеры:

• “Бари, включи свет на кухне”;
• “Бари, открой шторы”;
• “Бари, какая температура в спальне”.

Если произнести только “Бари” без команды, модуль перейдёт в режим ожидания команды на короткое время, а затем вернётся в обычный режим.

Команды без слова активации обычно не выполняются. Исключение — короткое окно после успешно выполненной команды: в этот момент можно сказать короткую команду вроде “выключи”, “ярче” или “тише”, если ассистент понимает, к какому устройству она относится.

Как установить

BARY AI Assistant устанавливается из стандартного каталога модулей BARY.

Сначала убедитесь, что модуль установлен в системе:

1. Откройте Настройки.
2. Перейдите в раздел Обновления.
3. Найдите модуль BARY AI Assistant.
4. Если модуль не установлен, поставьте рядом с ним галочку.
5. Нажмите Сохранить внизу страницы.

После этого добавьте модуль в BARY:

1. Откройте Настройки.
2. Перейдите в раздел Устройства.
3. Нажмите Добавить.
4. В каталоге поддерживаемых устройств откройте группу Голосовые ассистенты.
5. Выберите BARY AI Assistant.
6. Укажите комнату, в которой будет отображаться модуль.
7. Сохраните устройство.

После сохранения модуль появится в выбранной комнате. Далее его нужно настроить: указать параметры распознавания речи, ML-сервиса и, при необходимости, удалённых микрофонов.

Настройки модуля

После добавления BARY AI Assistant откройте настройки модуля. В этом разделе задаются порты, адреса сервисов, качество распознавания и дополнительные возможности ассистента.

Некоторые служебные настройки могут быть скрыты в интерфейсе. Обычно их не нужно менять вручную.

Динамические настройки

Часть настроек BARY AI Assistant появляется динамически после запуска модуля. Эти настройки зависят от подключённых комнат, удалённых микрофонов, медиаплееров и найденных музыкальных плейлистов.

Удалённые микрофоны Vosk Remote

Модуль поддерживает до четырёх удалённых точек распознавания речи. Это удобно, если микрофон находится не рядом с сервером BARY, а в другой комнате или на отдельном устройстве.

Для каждой точки доступны настройки:

Световое кольцо Seeed ReSpeaker

Если используется Seeed ReSpeaker USB Mic Array v2.0, BARY AI Assistant может управлять его световым кольцом. Кольцо помогает понять состояние удалённого микрофона без открытия интерфейса BARY.

Обычно индикация используется так:

Индикация работает на удалённой точке распознавания речи, к которой подключён Seeed ReSpeaker.

Режим диалога

BARY AI Assistant может работать не только как голосовое управление устройствами, но и как голосовой собеседник. Для этого используется режим диалога.

В обычном режиме ассистент ждёт команды для умного дома: включить свет, открыть шторы, узнать температуру и так далее. В режиме диалога ассистент передаёт реплики пользователя во внешнюю LLM и получает от неё текстовый ответ.

Для включения режима диалога можно сказать:

Бари, давай поговорим
Бари, давай поболтаем
Бари, поболтаем

После включения режима диалога ассистент некоторое время ведёт разговор. В этом режиме короткие фразы пользователя воспринимаются как продолжение беседы, а не как команды для устройств.

Во время диалога модуль пытается запоминать полезные факты о пользователе: имя, устойчивые интересы, привычки и предпочтения. Эти данные используются только для следующих диалогов, чтобы ассистент меньше повторялся и лучше учитывал контекст общения.

Чтобы завершить режим диалога, скажите:

давай закончим
закончим разговор
стоп диалог
выключи диалог

Если используется Seeed ReSpeaker USB Mic Array v2.0, активный режим диалога отображается жёлтым световым кольцом.

Важно: в режиме диалога команды умного дома без слова активации не выполняются. Если нужно управлять устройством, произнесите команду со словом “Бари”, например: “Бари, включи свет на кухне”.

Внешняя LLM и Ollama

Внешняя LLM — необязательная возможность BARY AI Assistant. Она нужна для режима диалога и дополнительных функций, где ассистенту требуется не просто найти команду, а сформировать текстовый ответ или разобрать пользовательскую фразу.

В текущей реализации для этого используется сервер Ollama.

Адрес Ollama указывается в настройке Адрес сервера Ollama. Например:

http://192.168.1.20:11434

Если поле пустое, BARY AI Assistant не обращается к LLM. Голосовое управление устройствами при этом может работать без Ollama.

Ollama может быть установлена:

• на том же сервере, где работает BARY;
• на отдельном сервере в локальной сети;
• на удалённом сервере в интернете.

При обращении к Ollama модуль отправляет текст реплики пользователя и контекст текущего диалога. Ollama возвращает текстовый ответ, который ассистент может показать или озвучить через Piper, если озвучивание настроено.

BARY AI Assistant также может использовать LLM не только для разговора, но и для помощи с обучающим набором: например, чтобы разобрать нераспознанные фразы и предложить, к какой команде их лучше отнести. Такие предложения не заменяют настройку устройств и обучение модели, а помогают улучшать распознавание пользовательских формулировок.

Музыка и плейлисты

Если для удалённой точки выбран медиаплеер в настройке Vosk Remote Media Device, BARY AI Assistant может использовать его для музыкальных команд и голосовых ответов.

Модуль может получить от медиаплеера список плейлистов. После этого в настройках появляются дополнительные поля для синонимов плейлистов.

Например, если медиаплеер передал плейлист “Утро”, для него может появиться поле синонимов. В него можно добавить варианты, которыми пользователь будет называть этот плейлист голосом.

Синонимы указываются через точку с запятой:

утро; утренний плейлист; музыка утром

Если нужно задать готовую голосовую фразу для запуска плейлиста, используйте префикс ON::

утро; ON:включи утреннюю музыку; ON:поставь музыку для завтрака

Синонимы помогают запускать плейлисты естественными фразами, без точного повторения названия из медиаплеера.

Списки покупок

BARY AI Assistant может работать со списками покупок, если в настройке Модули списков покупок выбран соответствующий модуль.

После подключения списка покупок ассистент сможет обрабатывать команды добавления товаров. Например:

• “Бари, добавь молоко в список покупок”;
• “Бари, добавь хлеб”;
• “Бари, купи кофе”.

Если товар уже есть в каталоге выбранного модуля, ассистент добавит его в список. Если товара нет, он может быть передан как новый товар для добавления.

Voice ID

Voice ID позволяет распознавать пользователя по голосу. Это полезно, если нужно понимать, кто именно дал команду, или ограничить управление для неизвестных голосов.

Для включения используйте настройку Включить Voice ID. После этого становятся доступны дополнительные параметры:

• Выбрать модель Voice ID — модель распознавания голоса;
• Порог совпадения (0-1) — насколько строго голос должен совпадать с профилем пользователя;
• Блокировать неизвестных пользователей — если включено, команды от неизвестных голосов не будут выполняться.

Как записать голосовой профиль

Для записи профиля включите Voice ID и произнесите команду:

Бари, запомни меня

Также можно использовать похожие команды: “запомни мой голос”, “включи голосовую авторизацию”.

После запуска записи ассистент попросит произнести несколько разных фраз. Обычно нужно записать 3 фразы. Говорите после сигнала, рядом с тем микрофоном, через который будет использоваться ассистент.

Если фраза слишком короткая, ассистент попросит повторить её. После записи всех фраз модуль отправит образцы в ML-сервис и сохранит голосовой профиль.

Запись можно отменить командами:

отмени запись
стоп запись
не запоминай меня

После записи профиль можно переименовать в дополнительных настройках модуля Голосовой Ассистент. Там отображаются пользователь, Speaker ID, модель, статус, количество сэмплов и время последнего использования.

Не включайте Блокировать неизвестных пользователей, пока голосовые профили не записаны и не проверены.

Как устройства попадают в список

BARY AI Assistant не добавляет устройства в умный дом самостоятельно. Он использует устройства, которые уже добавлены в BARY и разрешены для голосового управления через BARY.

У каждого устройства в BARY есть список поддерживаемых голосовых ассистентов. Если в этом списке выбран BARY, устройство становится доступным для BARY AI Assistant.

Чтобы устройство могло управляться голосом:

1. Откройте устройство в BARY.
2. Перейдите в его настройки.
3. Найдите список поддерживаемых голосовых ассистентов.
4. Убедитесь, что для устройства выбран BARY.
5. Сохраните настройки устройства.

После этого BARY AI Assistant сможет получить устройство, его комнату и доступные возможности: включение, выключение, яркость, температуру, шторы, датчики и другие функции.

Синонимы устройства

В настройках устройства можно указать синонимы названия. Они помогают ассистенту понимать привычные бытовые названия устройства.

Например, если устройство называется “Телевизор гостиная”, можно добавить синонимы:

телек; телевизор; ящик

После этого BARY AI Assistant будет учитывать эти варианты при формировании голосовых команд.

Синонимы указываются через точку с запятой. Их лучше писать так, как пользователь реально будет произносить команду.

Для простых альтернативных названий используйте обычные слова и фразы. Также можно задать готовые команды для включения и выключения устройства:

телек; ON:включи телек; OFF:выключи телек

Обычные синонимы расширяют стандартные команды устройства, а фразы с ON: и OFF: используются как готовые команды для включения или выключения.

Как определяется тип устройства

Тип устройства для голосового управления определяется по иконке устройства в BARY.

Например:

• если у устройства иконка лампы, люстры, подсветки или другого освещения, оно будет восприниматься как свет;
• если у устройства иконка штор, жалюзи, маркизы или другой открываемой конструкции, оно будет восприниматься как шторы;
• если у устройства иконка ворот, замка или похожего открываемого устройства, оно будет восприниматься как открываемое устройство;
• если у устройства иконка кондиционера, оно будет восприниматься как кондиционер;
• если у устройства иконка обогревателя или отопления, оно будет восприниматься как термостат;
• если устройство передаёт температуру, влажность или CO2, оно будет восприниматься как датчик;
• если устройство не подходит под специальные категории, оно будет восприниматься как обычный выключатель.

От типа устройства зависит, какие голосовые команды будут доступны. Например, для света могут появиться команды включения, выключения, яркости и цвета, а для датчика — запросы температуры, влажности или CO2.

Если устройство попало не в тот тип, проверьте его иконку и доступные возможности в настройках BARY.

Если устройство было добавлено, удалено или изменено, модуль получает обновление и заново синхронизирует список. После этого он обновляет набор голосовых команд для актуальных устройств.

Важно: если устройство не добавлено в BARY или в его голосовых ассистентах не выбран BARY, BARY AI Assistant не будет использовать это устройство для голосового управления.

Как формируются команды

После синхронизации устройств BARY AI Assistant формирует список голосовых команд автоматически. Команды строятся из названия устройства, комнаты, типа устройства и доступных возможностей.

Например, если в BARY есть светильник в кухне, для него могут появиться команды:

• “включи свет на кухне”;
• “выключи свет на кухне”.

Если этот светильник поддерживает регулировку яркости, дополнительно могут появиться команды:

• “сделай свет ярче”;
• “установи яркость на 50 процентов”.

Если устройство находится в комнате, модуль учитывает название комнаты. Это помогает отличать одинаковые устройства в разных местах: например, свет в кухне и свет в спальне.

Модуль также учитывает тип устройства и его возможности. Для света создаются команды включения и выключения, а яркость или цвет добавляются только для устройств, которые действительно поддерживают такие функции. Для штор — команды открытия и закрытия. Для датчиков — запросы значений, например температуры, влажности или CO2.

Контекст коротких команд

Короткие команды работают только после успешной команды, когда ассистент уже понял устройство или комнату. В этот момент модуль на короткое время запоминает контекст и может применить следующую короткую фразу к последнему подходящему устройству.

Например:

1. Пользователь говорит: “Бари, включи свет на кухне”.
2. Модуль выполняет команду и запоминает свет на кухне.
3. После этого пользователь может сказать: “ярче” или “выключи”.
4. Ассистент попробует применить короткую команду к свету на кухне.

Если первая команда завершилась ошибкой, устройство не найдено или пользователь сказал только “Бари” без команды, контекст для коротких команд не открывается.

Если прошло слишком много времени или команда неоднозначна, ассистент может не выполнить короткую команду. В таком случае повторите полную фразу: например, “Бари, выключи свет на кухне”.

Если список устройств или их возможности изменились, модуль обновляет список команд.

События голосовых команд

Все сказанные голосовые команды, которые дошли до обработки модулем, попадают в стандартные события BARY. Это помогает видеть историю работы ассистента и разбирать, почему команда выполнилась или не выполнилась.

В событиях сохраняется текст команды. Для успешных команд фиксируется событие команды, а для ошибок — событие ошибки команды. Например, если ассистент не нашёл подходящее устройство или не смог сопоставить фразу с командой, это тоже будет видно в событиях.

Обычно в событиях можно посмотреть:

• что именно распознал ассистент;
• какой текст команды был обработан;
• была ли команда выполнена;
• была ли ошибка распознавания или сопоставления;
• какой пользователь был определён через Voice ID, если Voice ID включён.

Такие события полезны при настройке ассистента: по ним можно понять, какие фразы пользователь реально произносит, какие команды не находятся и какие синонимы стоит добавить к устройствам.

Нераспознанные команды также могут использоваться для улучшения обучающего набора. Это помогает позже дообучить модель на реальных фразах пользователя.

Индексация команд

После изменения устройств, комнат, возможностей или синонимов BARY AI Assistant должен обновить поисковый индекс команд. Этот индекс нужен, чтобы модуль мог быстро сопоставлять фразу пользователя с подходящей командой.

Индексация — это не обучение модели. При индексации модуль пересчитывает представление уже сформированных команд, но не переобучает ML-модель.

Если включена настройка Автопересчёт эмбеддингов, модуль может обновлять индекс автоматически после изменения списка устройств или команд.

Если индекс не готов, ассистент может не находить команды или сообщать, что требуется индексация команд. В этом случае дождитесь завершения пересчёта или запустите пересчёт вручную, если такая команда доступна в вашей установке.

Обучение модели

BARY AI Assistant поставляется без готовой обученной модели. После установки модель нужно подготовить под вашу систему BARY: ваши устройства, комнаты, типы устройств, синонимы и доступные команды.

Обычно пользователь не пишет команды вручную. Модуль сам формирует набор команд на основе устройств BARY, а затем по этому набору создаётся модель и поисковый индекс.

Обучение нужно запускать после первичной настройки ассистента, когда:

• устройства уже добавлены в BARY;
• у нужных устройств выбран голосовой ассистент BARY;
• проверены иконки устройств;
• добавлены нужные синонимы устройств;
• настроены комнаты и основные возможности устройств.

Если позже вы добавили новое устройство, изменили комнату, синонимы или возможности, полное обучение может не потребоваться. Часто достаточно обновить команды и пересчитать индекс. Но если изменений много или ассистент плохо понимает новые формулировки, модель лучше обучить заново.

Обучение можно выполнять на том же сервере, но лучше использовать отдельный сервер или компьютер с видеокартой. Для этого используется настройка Удалённый сервис обучения (опционально).

После обучения нужно обновить индекс команд, чтобы ассистент начал использовать новую модель.

Универсальная модель для всех пользователей возможна только как базовый вариант для типовых команд. Она не знает названия ваших устройств, комнаты, синонимы, плейлисты и особенности конкретного дома, поэтому для точной работы ассистента всё равно нужна подготовка под вашу систему BARY.

Проверка работы

После установки и настройки проверьте, что модуль работает:

1. Убедитесь, что BARY AI Assistant отображается в выбранной комнате.
2. Откройте настройки модуля и проверьте адреса ML-сервиса и VOSK.
3. Если используются удалённые микрофоны, проверьте настройки Vosk Remote и выбранную комнату.
4. Произнесите слово активации “Бари”, затем простую команду для устройства, которое разрешено для голосового управления.
5. Проверьте, что устройство выполнило команду.

Для первой проверки лучше использовать простую команду, например:

• “Бари, включи свет на кухне”;
• “Бари, выключи свет в спальне”;
• “Бари, открой шторы”.

Если команда не выполняется, проверьте:

• выбран ли BARY в списке голосовых ассистентов у устройства;
• правильно ли выбрана иконка устройства;
• есть ли у устройства нужная возможность;
• правильно ли указана комната;
• доступен ли ML-сервис;
• доступен ли сервис VOSK или удалённый микрофон.

Типовые проблемы

Устройство не управляется голосом

Проверьте, что устройство добавлено в BARY и в списке поддерживаемых голосовых ассистентов у него выбран BARY. Если этот пункт не включён, BARY AI Assistant не будет использовать устройство.

Устройство определяется не тем типом

Тип устройства зависит от иконки. Если лампа определяется как выключатель или штора не получает команды открытия и закрытия, проверьте иконку устройства в BARY.

Команда не находится

Проверьте, что устройство находится в правильной комнате и поддерживает нужную возможность. Например, команды яркости будут доступны только для устройств, которые действительно поддерживают регулировку яркости.

Также можно проверить настройку Заданная точность. Если значение слишком высокое, ассистент будет строже выбирать команды и может не находить подходящий вариант.

Не работает распознавание речи

Проверьте настройки VOSK: путь к модели, адрес сервиса и доступность микрофона. Если используется удалённый микрофон, проверьте настройки Vosk Remote, комнату и доступность удалённого устройства по сети.

Нет голосового ответа

Проверьте настройку Адрес Piper API. Если Piper не используется, голосовой ответ может быть недоступен, но управление устройствами при этом может работать.

Не работают LLM-функции

Проверьте настройку Адрес сервера Ollama. Если поле пустое, модуль не обращается к Ollama. Это нормально, если LLM-функции не используются.

После изменения устройств команды не обновились

Проверьте, что изменения устройства сохранены в BARY. После изменения списка устройств модуль должен синхронизировать список и обновить команды. Если проблема сохраняется, перезапустите модуль.