Block, la empresa que dirige Jack Dorsey, ha lanzado desde su laboratorio un modelo de voz llamado Dessa. Sabe reír, hacer pausas e incluso sonar como si llorara, y funciona en local.
En qué se diferencia
La mayoría de asistentes de voz funcionan en cadena: el habla se convierte en texto, un modelo de lenguaje procesa ese texto y la respuesta se lee en voz alta. Según Block, en el primer paso se pierde todo lo que el texto no puede llevar: el tono, el cansancio, la duda. Dessa prescinde de esa capa. La emoción está dentro del propio modelo y su conocimiento sale de las conversaciones con las que se entrenó. El entrenamiento usó solo habla humana real y un único rack de GPU de Nvidia.
El modelo es full duplex: habla y escucha a la vez, así que se le puede interrumpir como a una persona. Block dice que funcionará en hardware de consumo, desde un MacBook M4 Max.
Qué se mostró
Empleados de Block publicaron grabaciones en las que el agente cambia de voz y de ritmo. En una dice que está cansado tras el trabajo y suena cansado de verdad. Un investigador lo llamó «un momento GPT-3 para el habla».
Matices
Todavía no hay acceso público y casi todas las valoraciones de calidad proceden de la propia empresa. Block ha pedido a investigadores de seguridad externos que prueben el modelo, también para ver si podría engañar a las personas. Para su negocio podría suponer pedidos y soporte por voz baratos y en el propio dispositivo; Square ya usa IA de voz para tomar pedidos.