Anthropic, frontier laboratuvarları içindeki AI geliştirme hızını anlamaya yönelik ölçümler üzerine bir yazı yayımladı. Çalışma, harici benchmark skorlarından ziyade enstrümantasyona odaklanıyor; bu da onu halka açık bir liderlik tablosundan çok, bir evaluation veya safety ekibinin kuracağı araçlara yaklaştırıyor. Yazı, frontier yeteneklerin ne kadar hızlı ilerlediğine dair daha geniş bir tartışmanın ortasında geliyor; bu tartışmada iddialar çoğunlukla ölçülen iç değişimden değil, benchmark farklarından hareketle savunuluyor.
Agent sistemleri geliştiren veya değerlendiren ekipler için ilgili sinyal metodolojik olanda. Sürümler arasındaki yetenek değişimini izlemek, geliştirme sürecinin içinde enstrümantasyon gerektiriyor: nelerin loglandığı, hangi ayrıntı düzeyinde loglandığı ve bu ölçümlerin model sürümleri arasında nasıl karşılaştırıldığı. Harici skorlar seyrek ve süreksizdir; iç ölçümler ise toplama yeterince tutarlı olduğu sürece sürümler arası karşılaştırmaya imkân verecek biçimde sürekli olabilir.
Sağlanan haberde netleşmeyen noktalar, önerilen ölçümlerin tam olarak hangileri olduğu, yazıyla birlikte herhangi bir araç veya metodolojinin yayımlanıp yayımlanmadığı ve yaklaşımın mevcut evaluation pratiğiyle nasıl ilişkilendirilmesinin amaçlandığı. Stüdyo bunu doğrulanmış bir standart olarak değil, enstrümantasyon tasarımı için bir referans model olarak ele alıyor ve somut metrikleri açıklayan takip materyallerini izleyecek.