Как настроить голосовое распознавание сообщений в чат-ботах

В SendPulse можно подключить к чат-ботам систему автоматического распознавания языка Whisper от OpenAI. Интеграция позволяет распознавать и транскрибировать голосовые сообщения подписчиков, что помогает удобно взаимодействовать с ботом с помощью голоса.

В статье рассмотрим принцип работы модели Whisper и ее настройки.

Что такое Whisper для OpenAI

Whisper – это система автоматического распознавания языка или ASR (Automated Speech Recognition), разработанная OpenAI. Технология ASR предназначена для преобразования разговорной речи в письменный текст.

Whisper различает все самые распространенные языки: английский, испанский, французский, немецкий, итальянский, португальский, голландский, русский, шведский, китайский, японский, корейский, арабский, украинский и другие. Модель можно использовать, например, для транскрибации или программ с голосовым управлением как голосовой ассистент и т.д.

Модель Whisper прежде всего сосредоточена на транскрибировании языка и превращении его в текст.

Как работает Whisper в чат-ботах SendPulse

Система Whisper доступна для интеграции чат-ботов с OpenAI, поэтому использует тот же токен что и ChatGPT и настраивается в том же модальном окне.

Читайте подробнее: Как подключить GPT к чат-боту.

Вы можете подключить ChatGPT и Whisper по отдельности или вместе.

Если включен только Whisper, в чате отображается распознанный текст.

Если включен Whisper и ChatGPT, при отправке голосового сообщения в бот оно будет распознано и отправлено в ChatGPT. Далее ChatGPT сгенерирует ответ и отправит подписчику в текстовой формате.

Если подписчик в голосовом сообщении использовал триггерное слово, будет запущена соответствующая цепочка.

Также если в цепочке чат-бота предусмотрен активный пользовательский ввод (ожидания текстовой строки), подписчик может записать и отправить голосовое сообщение, которое обработается в текст и запишется в соответсвующую переменную.

Как подключить Whisper к чат-ботам

Откройте необходимый чат-бот и перейдите на вкладку Настройки бота (Bot settings) > Интеграции (Integrations).

Вы можете подключить распознавание голосовых сообщений на этапе интеграции с OpenAI. Если она настроена, нажмите Подключено (Enabled) > Редактировать (Edit) напротив ChatGPT by OpenAI.

В модальном окне настроек активируйте переключатель Whisper Voice Recognition.

Если вы хотите, чтобы ChatGPT генерировал текстовые ответы, то активируйте тумблер ChatGPT: AI Text Response Generation. Если вы хотите использовать только распознавание голосовых сообщений, выключите этот тумблер.

Как просматривать голосовые сообщения

Перейдите в Диалоги (Conversation), аудиторию бота или виджет Чаты справа, чтобы просматривать все чаты с подписчиками.

Когда подписчик отправит в чат-бот голосовое сообщение, вы увидите транскрибацию его запроса внизу сообщения.

Если вы активировали опцию автоматического ответа ChatGPT: AI Text Response Generation в настройках интеграции, чат предоставит сгенерированный ответ.

OpenAI использует внутреннюю библиотеку информации – обрабатывает запрос клиента и выдает ответ на основе доступной информации. Также он не учитывает персональные данные подписчика.

Обновлено: 20.06.2024