Голосовые интерфейсы *

В июне этого года компания Amazon опубликовала шорт-лист конкурса Alexa Prize Socialbot Grand Challenge 3. Из 375 заявок комитет Alexa Prize отобрал 10 финалистов, в том числе единственную из России команду МФТИ. Эти счастливчики — команда DREAM. Ребята являются сотрудниками лаборатории нейронных систем и глубокого обучения МФТИ. Но как продвигается работа, и над чем трудится команда DREAM?


Слева на право: Идрис Юсупов, Диляра Баймурзина, капитан команды Юрий Куратов, Денис Кузнецов, Дмитрий Карпов, Ле Ань, руководитель Михаил Бурцев.

Анекдот как предисловие:
Купил Петька автомат по продаже газировки и поехал ставить в Сахару. Через год встречает его Василий Иванович и спрашивает: — идея бомба была, а ты что такой хмурый?
— Понимаешь, Василий Иванович, они как увидят в пустыне автомат с газировкой — сразу кричат, мираж, мираж и мимо проходят.

1. Невидимый для обывателей рынок

Рынок аппаратных устройств для общения голосом показывает самый большой рост за всю историю аппаратной электроники.



Google Assistant предустановлен на 1 миллиарде устройств, теперь давайте сравним с рынком мобильных устройств и приложений:

Цели серии статей

Напомню, что в рамках первого и второго поста мы получили модель классификации обращений в техподдержку и научились выводить её в продуктив, не собирая все грабли. Пришли к выводам, что прежде, чем строить сложные модели, нужно понять полноту и точность своих данных. А вывод №2 стал таким: пойми пользователя своего и тогда запустить сервис станет в разы проще.

В этой статье мы поговорим о втором кейсе, который нам помогла решить голосовой робот Анна.

Кейс №2. Задача и данные

После того, как мы поняли логику людей и набили шишки при внедрении первого голосового классификатора, мы вдохновились на решение ещё одной задачи.

Проблематика.

34% звонков из отдела продаж переводятся в службу техподдержки. Хочется сократить количество переводов между отделами. Для начала разберёмся, как работало раньше?

В России многие пользователи интернета составили представление о рынке голосовых ассистентов благодаря приложениям Яндекс Алиса и Google Assistent. На самом деле рынок намного шире и находится в начальной стадии развития по экспоненциальной кривой:



Будущее уже наступило и продолжает гигантский рост, оставаясь при этом незаметным для большинства населения, в том числе и для продвинутых пользователей.

Цель и задача

Напомню, что в рамках первой статьи мы получили модель с удовлетворяющим нас качеством и пришли к выводу, что не стоит сразу строить нейронные сети, на некорректных данных большой пользы от этого не будет. Чтобы избежать потери времени и своих сил, достаточно проанализировать ошибки на “простых” моделях.

В этой статье мы поговорим о выводе в продуктив рабочей модели.

Цель и задача

В серии статей рассмотрим классификаторы голосовых обращений, зачем они нужны, как их быстро вывести в продуктив. Расскажу про подходы, которые позволят сократить время от постановки задачи до запуска модели и получения бизнес-результата.
По этой статье можно посмотреть доклад по ссылке

Как Мефодий стал Анной. Серия №1

Начнём!

Задача

Привет, Хабр! Увлёкся я навыками для Алисы и стал думать, какую пользу они бы могли принести. На площадке много разных прикольных игр (в том числе мои), но вот захотелось сделать рабочий инструмент, который действительно нужен в голосовом исполнении, а не просто копирует существующего чат-бота с кнопками.

Голос актуален тогда, когда либо руки заняты, либо нужно выполнять много последовательных операций, особенно на экране телефона. Так возникла идея навыка, который по одной команде выделяет из текста указание на дату и время и добавляет событие с этим текстом в Google Calendar. Например, если пользователь скажет Послезавтра в 11 вечера будет красивый закат, то в календарь на послезавтра в 23:00 уходит строка Будет красивый закат.

Под катом описание алгоритма работы библиотеки Hors: распознавателя даты и времени в естественной русской речи. Хорс — это славянский бог солнца.

Github | NuGet

Живете в Москве и ездите на своем автомобиле? Если да, то как вы оплачиваете парковку? Отправляете SMS? Платите через приложение Парковки Москвы? Используете бот в Telegram? «Это все неудобно» — решил я и создал свой навык для Алисы для оплаты парковки голосом. К тому же, Алиса уже встроена в Яндекс.Навигатор. Теперь можно просто сказать Навигатору что-то типа «Алиса, попроси Парковки Москвы оплатить парковку 3209 на 30 минут».

С чем я столкнулся при разработке навыка?

Сегодня мы:

1. Создадим приложение (навык) Алисы с использованием нового (октябрь 2019) сервиса Yandex Cloud Functions.
   
2. Настроим наше приложение так, чтобы оно отправляло заказы клиентов (т.н. лиды) в CRM Битрикс24.
   

Наш проект будет использовать Node.js (версия 10.x.x) — он должен быть установлен на вашей локальной машине вместе с npm (по умолчанию npm устанавливается вместе с установкой Node.js, поэтому, скорее всего, отдельно устанавливать его не придётся).

Согласно первому пункту нашего списка мы научимся работать с Cloud Functions, и это имеет смысл: a) ответы из нашего приложения будут приходить Алисе быстрее (она живёт где-то по соседству, возможно даже за стенкой); b) поможет немного (а может быть и много при большой клиентуре) сэкономить: официально объявлено, что при использовании для навыков Алисы, вызовы кода в Cloud Functions не тарифицируются (правда, там есть небольшой подводный камень — о нём я расскажу немного позже).

Второй пункт — это про один из немногих способов заработка денежных знаков с Алисой. На базе полученных сегодня знаний можно будет: a) делать приложения на заказ для клиентов-бизнесменов; b) самостоятельно открыть собственный бизнес (в этом случае вы будете в числе пионеров и поэтому сказочно разбогатеете).

Но если вы ещё не делали навыков для Алисы, или имеете мало опыта — отсылаю вас к первой моей статье из этой серии: «Алиса приобретает навык» — с её помощью вы создадите простое приложение, которое цитирует умных людей, а также имеет кнопку для сбора пожертвований на стимулирование собственных умных мыслей.

Аудиоинтерфейсы окружают нас повсюду: в виде голосовых помощников, навигационной системы в автомобиле и общественном транспорте. Их давно используют в военной технике — речевые информаторы передают команды и подсказки экипажу самолетов с середины двадцатого века.

Военные летчики США прозвали инструменты голосового оповещения «Bitchin’ Betty» — «Стервозной Бетти» — за их требовательную интонацию. Сегодня расскажем об аналогах «Бетти» и разберемся, почему в аудиоинтерфейсах женские голоса встречаются чаще мужских.

10 октября 2019 — второй день рождения Алисы. Популяризируя технологии голосовых ассистентов, Яндекс продолжает ежемесячно раздавать деньги разработчикам голосовых приложений в конкурсе “Премия Алисы”.

В погоне за премией разработчикам могут пригодиться замечания автора “Ассоциаций на время”, получивших в сентябрьском конкурсе 1-е место и 100000 ₽ в категории “Игры и развлечения”.

Начнём с новостей. Вчера Яндекс.Облако анонсировало запуск сервиса бессерверных вычислений Yandex Cloud Functions. Это значит: ты пишешь только код своего сервиса (например, веб-приложения или чатбота), а Облако само создаёт и обслуживает виртуальные машины, где он запускается, и даже реплицирует их, если возрастает нагрузка. Думать вообще не надо, очень удобно. И плата идёт только за время вычислений.

Впрочем, кое-кто может вообще не платить. Это — разработчики внешних навыков Алисы, то есть встроенных в неё чатботов. Написать, захостить и зарегистрировать такой навык может любой разработчик, а с сегодняшнего дня навыки даже не надо хостить — достаточно залить их код в облако в виде той самой бессерверной функции.

Но есть пара нюансов. Во-первых, ваш питонячий код может требовать каких-то зависимостей, и затаскивать их в Облако — нетривиально. Во-вторых, любому нормальному чатботу нужно хранить где-то состояние диалога (stateful поэтому); как сделать это в бессерверной функции проще всего? В третьих, а как вообще можно быстро-грязно написать навык для Алисы или вообще какого-то бота с ненулевым сюжетом? Об этих нюансах, собственно, статья.

Здравствуйте, меня зовут Дмитрий Карловский и я иногда выступаю на конференциях, митапах, а так же с недавних пор сам вхожу в команду организаторов одного из них — PiterJS. Недавно у нас был юбилей — 40 проведённых митапов. Но вместо того, чтобы расслабиться и получать поздравления, мы запарились и сами подготовили доклады от организаторов.

Но и этого нам мало, поэтому мы решили отметить юбилей по крупному, организовав конференцию на берегах Невы PiterJSConf, которая пройдёт уже в эту субботу 7 сентября 2019. Спешите записываться, пока ещё есть свободные места, ведь участие в ней для вас будет совершенно бесплатно.

Мы всё это делаем не за деньги, а за великую идею, что знания должны быть бесплатны. Поэтому всё, что мы делаем, доступно в Open Source. Мы с радостью делимся своими наработками, знаниями и опытом с другими. И призываем к сотрудничеству организаторов из других городов для создания открытой платформы организации технологических митапов на регулярной основе. Присоединяйтесь к нам в качестве организатора, партнёра, докладчика, волонтёра, патрона или просто слушателя.

А пока, предлагаю вам рассказ про веб приложение для проведения презентаций $hyoo_slides, которое я использую для всех своих выступлений. Видеозапись доступна на YouTube, но там не всё. Можете читать этот рассказ как статью, так и открыть в интерфейсе самого приложения. Далее я расскажу вам, сколько всего оно умеет, и как работает.

В этой статье речь пойдёт о голосовых интерфейсах (Voice User Interface — VUI), а также будет показано, как на Node.js можно создать приложение (навык — в терминологии платформы Яндекс.Диалоги) для голосового помощника Алисы. С помощью стороннего API наше приложение будет получать цитаты известных людей и передавать Алисе, а та, в свою очередь, зачитывать их пользователям. Также рассмотрим и один из немногих способов монетизации таких приложений — создание кнопки донации (donation — пожертвование). В общем, все должны остаться довольными.

UX и UI-дизайнеры всё ещё со скепсисом смотрят в сторону голосовых интерфейсов. Одним кажется, что это маркетинговый хайп, который скоро сойдёт на нет. Другие не пользуются голосовыми ассистентами и поэтому уверены, что голос — это неудобно и неестественно. Но пока они сомневались, сложилась самостоятельная профессиональная сфера — со своими секретами, паттернами и механиками (и даже рынком труда). Вместе с UX-архитектором Just AI Екатериной Юлиной разбираемся, как подступиться к голосовым технологиям и что в своем мышлении должен изменить UX-дизайнер традиционных интерфейсов, берясь за голосовые.

Вот уже почти год Яндекс вручает денежную Премию Алисы за самые популярные и интересные навыки для своего голосового ассистента. Анна Савинкова, не будучи программистом, гейм-девелопером или ux-дизайнером, разработала голосовой квест «Цитадель» в двух частях, каждой из которых удалось завоевать Премию в категории «Игры и развлечения».

Под катом — ее история про поиск инструмента для разработки, сложности голосовой навигации по игре, проектирование «рюкзака с артефактами» с помощью JavaScript, настройки health points с укусами волков и исцеляющими шматками сала, эксперименты с аудиторией и продвижением голосовой игры в соцсетях. Вдруг этот опыт поможет выиграть и вам. Ну а картинка на тему «Как разработать призовой навык своими руками», а заодно — оригинальная иллюстрация к «Цитадели».

Пока Google готовил глобальное обновление для русскоязычного Ассистента – с новыми голосами, блэкджеком и встроенными оплатами, мы решили создать для него собственную игру. Мы экспериментировали с жанрами, сюжетом, пасхалками, озвучкой и внутриигровыми платежами. В итоге получился дико интересный опыт, который может повторить каждый, кто хочет сделать первый шаг в геймдев через голос. На примере квеста «Мир Лавкрафта» делимся соображениями об играх для голосовых ассистентов: как разработать и какие есть возможности для монетизации.

Все знают: догфудить собственный продукт (ну, есть корм своей собаки – разрабатывать продукт, который сам же используешь) – это правильный во всех отношениях принцип. Работая над конструктором чатботов Aimylogic, мы в Just AI прекрасно представляли, каким он должен быть, но поначалу не догфудили – наши NLU-инженеры обычно сразу пишут код. И поэтому решили пойти по пути lean startup: выкатить бету, собрать ранний фидбэк от пользователей и писать Aimylogic по-живому. Рассказываем, как мы вместе с пользователями шли от беты к релизу.

На работе я занимаюсь созданием полезных навыков для Алисы, а в свободное время попробовал использовать голосового помощника для игры с друзьями, в домашней обстановке. Я уже описывал свою разработку текстовой игры для одного или двух игроков, а в этот раз делюсь опытом создания видеоигры для целой компании.

Введение

В настоящее время большое внимание уделяется созданию доступной среды для людей с инвалидностью и ограниченными возможностями здоровья. Важным средством обеспечения доступности и улучшения качества жизни, социального взаимодействия, интеграции в общество для людей с инвалидностью являются средства вычислительной техники и специализированные информационные системы. Анализ литературы показал, что на сегодняшний день ведутся различные разработки для облегчения взаимодействия человека и компьютера, в том числе в направлении разработки голосовых интерфейсов управления вычислительной системой. Однако, данные разработки ориентируются на создание дикторонезависимых систем, обучаемых на больших данных и не учитывающих особенности произношения команд компьютеру людьми с различными нарушениями речевых функций.

Целью научно-исследовательской работы является проектирование дикторозависимого голосового интерфейса управления вычислительной системой на основе методов машинного обучения.

Задачи, решаемые в работе:

1. Провести обзор голосовых интерфейсов и способы их применения для управления вычислительными системами;
2. Изучить подходы к персонализации голосового управления вычислительной системой;
3. Разработать математическую модель голосового интерфейса управления вычислительной системой;
4. Разработать алгоритм программной реализации.

Методы решения. Для решения поставленных задач используются методы системного анализа, математического моделирования, машинного обучения.