Block, l'entreprise dirigée par Jack Dorsey, a publié depuis son laboratoire un modèle vocal nommé Dessa. Il sait rire, marquer des pauses et même sembler pleurer, et il fonctionne en local.
Ce qui change
La plupart des assistants vocaux fonctionnent en chaîne : la parole devient du texte, un modèle de langage traite ce texte, puis la réponse est lue à voix haute. Selon Block, la première étape fait perdre tout ce que le texte ne transporte pas : le ton, la fatigue, l'hésitation. Dessa supprime cet intermédiaire. L'émotion est intégrée au modèle lui-même et ses connaissances viennent des conversations utilisées pour l'entraîner. L'entraînement n'a utilisé que de la parole humaine réelle, sur une seule baie de GPU Nvidia.
Le modèle est full-duplex : il parle et écoute en même temps, on peut donc l'interrompre comme une personne. Block annonce qu'il tournera sur du matériel grand public, à partir d'un MacBook M4 Max.
Ce qui a été montré
Des employés de Block ont publié des enregistrements où l'agent change de voix et de rythme. Dans l'un d'eux, il dit être fatigué après le travail et semble réellement l'être. Un chercheur a parlé d'un « moment GPT-3 de la parole ».
Réserves
Il n'y a pas encore d'accès public et presque toutes les évaluations viennent de l'entreprise et de ses équipes. Block a demandé à des chercheurs externes en sécurité de tester le modèle, notamment sur sa capacité à tromper. Pour son activité, cela pourrait donner des commandes et un support vocaux peu coûteux, directement sur l'appareil ; Square utilise déjà l'IA vocale pour prendre des commandes.