Anthropic مطلبی درباره سنجشهایی برای درک سرعت توسعه هوش مصنوعی در آزمایشگاههای مرزی منتشر کرده است. این کار بر ابزارسازی تمرکز دارد نه بر نمرات بنچمارکهای بیرونی، و به همین دلیل به ابزارهایی که یک تیم ارزیابی یا ایمنی میسازد نزدیکتر است تا به یک جدول رتبهبندی عمومی. این انتشار در میانه بحث گستردهتر درباره سرعت حرکت قابلیتهای مرزی منتشر میشود؛ جایی که ادعاها اغلب بر پایه تغییرات بنچمارک مطرح میشوند نه بر پایه تغییرات اندازهگیریشده درونی.

برای تیمهایی که سیستمهای agent را عرضه یا ارزیابی میکنند، سیگنال مرتبط، روششناختی است. پیگیری تغییر قابلیت میان نسخهها نیازمند ابزارسازی درون فرایند توسعه است: چه چیزی ثبت میشود، با چه سطحی از جزئیات، و این سنجشها چگونه میان نسخههای مدل مقایسه میشوند. نمرات بیرونی پراکنده و ناپیوستهاند؛ سنجشهای درونی میتوانند پیوسته باشند، به شرط آنکه جمعآوری بهقدر کافی یکدست باشد تا مقایسه میان نسخهها ممکن شود.

آنچه از پوشش ارائهشده روشن نیست، مجموعه مشخص سنجشهای پیشنهادی است، اینکه آیا ابزار یا روششناسیای همراه با این نوشته منتشر شده، و اینکه این رویکرد چگونه با رویه ارزیابی موجود مرتبط است. استودیو این را بهعنوان یک مدل مرجع برای طراحی ابزارسازی میبیند نه یک استاندارد اعتبارسنجیشده، و مطالب بعدی را که معیارهای مشخص را توصیف کنند پیگیری خواهد کرد.
