پرش به محتوای اصلی

انویدیا مدل صوتی باز منتشر کرد که همزمان گوش می‌دهد و صحبت می‌کند

Behzat AIvoice-agentsfull-duplexopen-weightsnvidiaagent-runtime
نمای نزدیک از یک رک سرور با چراغ‌های نشانگر و کابل‌کشی، نمایانگر استقرار درون‌سازمانی یک مدل صوتی باز

انویدیا یک مدل هوش مصنوعی صوتی باز منتشر کرده که همزمان با گوش دادن صحبت می‌کند؛ این خبر بر اساس پوشش رسانه‌ای این عرضه منتشر شده است. این مدل به‌عنوان گفتار تمام‌دوطرفه معرفی شده است: می‌تواند همزمان صحبت کند و صدا دریافت کند، به‌جای اینکه بین گوش دادن و صحبت کردن جابه‌جا شود. برای تیم‌هایی که agentهای صوتی می‌سازند، این موضوع دو چیز را همزمان تغییر می‌دهد — بودجه تأخیر و منطق نوبت‌گیری. قطع کردن صحبت، بازخورد کلامی و گفتار همپوشان دیگر موارد حاشیه‌ای نیستند که به یک حلقه درخواست/پاسخ پیچ شده باشند؛ بلکه به ویژگی‌های خود مدل تبدیل می‌شوند.

Long-exposure star trails swirl in a dark night sky above a tranquil landscape

در پوشش رسانه‌ای به یک هشدار همراه این عرضه اشاره شده است؛ اما نکات ارائه‌شده مشخص نمی‌کنند که آن هشدار چیست، بنابراین تأثیر عملی آن بر استفاده تولیدی تنها بر اساس این مطالب روشن نیست. این عرضه همچنین در ادامه تلاش گسترده‌تر انویدیا برای وزن‌های باز و agent-runtime قرار می‌گیرد، که این مدل را در الگویی وسیع‌تر از عرضه وزن‌هAerial view of a city at twilight with vibrant lights and a dynamic sky

وزن‌های باز یک تصمیم استقرار را به درون سازمان منتقل می‌کنند: اینکه صدا کجا پردازش می‌شود، از کدام inference stack استفاده می‌شود، و لایه گفتار چگونه در کنار بقیه یک agent نسخه‌بندی می‌شود. برای معماری‌های agent صوتی، پرسش عملی تنها کیفیت نیست، بلکه این است که رفتار تمام‌دوطرفه چگونه ارزیابی می‌شود — مدیریت وقفه، زمان‌بندی پاسخ و بازیابی از نوبت‌های همپوشان. این evaluation harnessها اکنون بخشی از کار یکپارچه‌سازی هستند.

بیایید صحبت کنیم!