新闻

Block 发布 Dessa:会笑、会停顿、能在笔记本上本地运行的语音模型

Block 推出全双工语音模型 Dessa,情绪表达自然,可在高配笔记本上本地运行。目前尚未向公众开放。

杰克·多西执掌的 Block 公司从自家实验室发布了名为 Dessa 的语音模型。它会笑、会停顿,甚至能发出带哭腔的声音,而且可以本地运行。

有什么不同

多数语音助手是一条流水线:语音先转成文字,由语言模型处理文字,再把回复念出来。Block 认为,第一步就会丢掉文字承载不了的东西,比如语气、疲惫和犹豫。Dessa 省掉了这一层,情绪直接内置在模型里,知识则来自训练时用到的对话数据。训练只使用真实的人类语音,算力是一整机架的英伟达 GPU。

模型是全双工的:边说边听,因此可以像打断真人一样打断它。Block 表示它能在消费级硬件上运行,起步门槛是 MacBook M4 Max。

展示了什么

Block 员工发布了一些录音,其中智能体会切换声音和语速。在一段录音里,它说自己下班后很累,听起来确实很疲惫。一位研究者称这次发布是“语音领域的 GPT-3 时刻”。

需要注意

目前尚未公开开放,几乎所有质量评价都来自公司自身。Block 已邀请外部安全研究人员测试该模型,包括它是否可能被用来欺骗他人。对 Block 的业务而言,这可能意味着低成本、在设备端完成的语音点单和客服;Square 已经在用语音 AI 接单。