پرش به محتوای اصلی

Anthropic معیارهایی برای سنجش سرعت توسعه هوش مصنوعی در آزمایشگاه‌های مرزی منتشر کرد

Behzat AIai-evaluationfrontier-labsmeasurementcapability-trackingagent-systems
اسیلوسکوپ که ردهای موج را روی صفحه‌ای سبز در میان تجهیزات تست الکترونیکی نمایش می‌دهد

Anthropic مطلبی درباره سنجش‌هایی برای درک سرعت توسعه هوش مصنوعی در آزمایشگاه‌های مرزی منتشر کرده است. این کار بر ابزارسازی تمرکز دارد نه بر نمرات بنچمارک‌های بیرونی، و به همین دلیل به ابزارهایی که یک تیم ارزیابی یا ایمنی می‌سازد نزدیک‌تر است تا به یک جدول رتبه‌بندی عمومی. این انتشار در میانه بحث گسترده‌تر درباره سرعت حرکت قابلیت‌های مرزی منتشر می‌شود؛ جایی که ادعاها اغلب بر پایه تغییرات بنچمارک مطرح می‌شوند نه بر پایه تغییرات اندازه‌گیری‌شده درونی.

Circuit board macro

برای تیم‌هایی که سیستم‌های agent را عرضه یا ارزیابی می‌کنند، سیگنال مرتبط، روش‌شناختی است. پیگیری تغییر قابلیت میان نسخه‌ها نیازمند ابزارسازی درون فرایند توسعه است: چه چیزی ثبت می‌شود، با چه سطحی از جزئیات، و این سنجش‌ها چگونه میان نسخه‌های مدل مقایسه می‌شوند. نمرات بیرونی پراکنده و ناپیوسته‌اند؛ سنجش‌های درونی می‌توانند پیوسته باشند، به شرط آنکه جمع‌آوری به‌قدر کافی یکدست باشد تا مقایسه میان نسخه‌ها ممکن شود.

Server racks data center

آنچه از پوشش ارائه‌شده روشن نیست، مجموعه مشخص سنجش‌های پیشنهادی است، اینکه آیا ابزار یا روش‌شناسی‌ای همراه با این نوشته منتشر شده، و اینکه این رویکرد چگونه با رویه ارزیابی موجود مرتبط است. استودیو این را به‌عنوان یک مدل مرجع برای طراحی ابزارسازی می‌بیند نه یک استاندارد اعتبارسنجی‌شده، و مطالب بعدی را که معیارهای مشخص را توصیف کنند پیگیری خواهد کرد.

بیایید صحبت کنیم!