نشرت Anthropic مقالًا عن القياسات لفهم وتيرة تطوير الذكاء الاصطناعي داخل مختبرات الحدود. يركز العمل على الأدوات القياسية بدلًا من درجات المعايير الخارجية، مما يضعه أقرب إلى الأدوات التي يبنيها فريق التقييم أو السلامة من لوحة صدارة عامة. ويأتي ذلك وسط جدل أوسع حول سرعة تحرك القدرات الحدودية، حيث تُطرح الادعاءات غالبًا استنادًا إلى فروق المعايير بدلًا من التغير الداخلي المقاس.
بالنسبة للفرق التي تُطلق أنظمة agent أو تقيّمها، فإن الإشارة ذات الصلة منهجية. يتطلب تتبع تغير القدرات بين الإصدارات أدوات قياس داخل عملية التطوير: ما يُسجَّل، وبأي مستوى من التفصيل، وكيف تُقارن تلك القياسات عبر إصدارات النموذج. الدرجات الخارجية متفرقة وغير متصلة؛ أما القياسات الداخلية فيمكن أن تكون متصلة، بشرط أن يكون الجمع متسقًا بما يكفي للمقارنة عبر الإصدارات.
ما يبقى غير واضح من التغطية المتاحة هو المجموعة المحددة من القياسات المقترحة، وما إذا كانت أي أدوات أو منهجية تُنشر إلى جانب المقال، وكيف يُقصد أن يرتبط النهج بممارسة التقييم القائمة. يتعامل الاستوديو مع هذا كنموذج مرجعي لتصميم الأدوات القياسية بدلًا من معيار مُتحقق منه، وسيتابع المواد اللاحقة التي تصف المقاييس الملموسة.