Компания Block, которой руководит Джек Дорси, выпустила из своей лаборатории голосовую модель Dessa. Она умеет смеяться, делать паузы и даже изображать плач, а запускается локально.
Чем она отличается
Большинство голосовых ассистентов устроены цепочкой: речь превращается в текст, текст обрабатывает языковая модель, ответ снова озвучивается. По версии Block, на первом шаге теряется всё, что в текст не помещается: интонация, усталость, колебание. Dessa обходится без этой прослойки. Эмоции заложены в саму модель, а знания она берёт из разговорных данных, на которых училась. Обучали её только на живой человеческой речи, на одной стойке с GPU Nvidia.
Модель дуплексная: говорит и слушает одновременно, то есть её можно перебить, как человека. Запускать её обещают на потребительском железе уровня MacBook M4 Max и выше.
Что показали
Сотрудники Block выложили записи, где агент меняет голоса и темп, в одной из них жалуется, что устал после работы, и звучит именно усталым. Один из исследователей назвал релиз «моментом GPT-3 для речи».
Оговорки
Публичного доступа пока нет, почти все оценки качества исходят от самой компании и её людей. Block попросила независимых специалистов по безопасности проверить модель, в том числе на способность вводить людей в заблуждение. Для бизнеса Block это может обернуться недорогим голосовым заказом и поддержкой прямо на устройстве: Square уже использует голосовой ИИ для приёма заказов.