杰克·多西执掌的 Block 公司从自家实验室发布了名为 Dessa 的语音模型。它会笑、会停顿,甚至能发出带哭腔的声音,而且可以本地运行。
有什么不同
多数语音助手是一条流水线:语音先转成文字,由语言模型处理文字,再把回复念出来。Block 认为,第一步就会丢掉文字承载不了的东西,比如语气、疲惫和犹豫。Dessa 省掉了这一层,情绪直接内置在模型里,知识则来自训练时用到的对话数据。训练只使用真实的人类语音,算力是一整机架的英伟达 GPU。
模型是全双工的:边说边听,因此可以像打断真人一样打断它。Block 表示它能在消费级硬件上运行,起步门槛是 MacBook M4 Max。
展示了什么
Block 员工发布了一些录音,其中智能体会切换声音和语速。在一段录音里,它说自己下班后很累,听起来确实很疲惫。一位研究者称这次发布是“语音领域的 GPT-3 时刻”。
需要注意
目前尚未公开开放,几乎所有质量评价都来自公司自身。Block 已邀请外部安全研究人员测试该模型,包括它是否可能被用来欺骗他人。对 Block 的业务而言,这可能意味着低成本、在设备端完成的语音点单和客服;Square 已经在用语音 AI 接单。