跳转到主要内容

Nvidia 发布可同时聆听与说话的开源语音模型

Behzat AIvoice-agentsfull-duplexopen-weightsnvidiaagent-runtime
带有指示灯和线缆的服务器机架特写,代表开源语音模型的内部部署

据该发布的报道,Nvidia 发布了一款边听边说的开源语音 AI 模型。该模型被定位为全双工语音:它可以同时说话和接收音频,而不是在聆听与说话之间交替。对于构建语音 agent 的团队来说,这同时改变了两件事——延迟预算和轮次切换逻辑。打断、附和与重叠语音不再是附加在请求/响应循环上的边缘情况,而成为模型本身的属性。

Long-exposure star trails swirl in a dark night sky above a tranquil landscape

报道指出该发布附带一个注意事项;所提供的要点并未说明该注意事项是什么,因此仅凭这些材料,其对生产使用的实际影响仍不明确。此次发布也延续了 NvidiaAerial view of a city at twilight with vibrant lights and a dynamic sky

开源权重将部署决策转移到内部:音频在哪里处理、使用哪个推理栈,以及语音层如何与 agent 的其余部分一起进行版本管理。对于语音 agent 架构而言,实际问题不仅是质量,还有如何评估全双工行为——打断处理、响应时机以及从重叠轮次中恢复。这些评估工具现在已成为集成工作的一部分。

让我们聊聊!