Filo ölçeğinde kırılan metrik
Yanlış pozitif bildiren tek bir agent, bir gözden geçirene birkaç dakikaya mal olur. Her biri yanlış pozitif bildiren on bin agent, bir gözden geçirene bir çalışma haftasına mal olur ve inceleme sürerken kuyruk büyümeye devam eder. Aritmetik ince değil, ama rutin olarak atlanıyor: kesinlik modelin bir özelliği olarak raporlanırken, yanlış pozitifin maliyeti onu tüketen hattın bir özelliğidir.
Bu, başka türlü ilgisiz iki program arasındaki yapısal benzerliktir. OpenAI'nin güvenlik açıklarını bulma ve yamalama üzerine güvenlik çalışması ile biyolojik-veri agent programı, ikisi de bir agent filosunu bir korpusun önüne koyar ve geri gelenleri insanların karara bağlamasını ister. Her iki durumda da darboğaz, modelin ayrılmış bir küme üzerindeki recall'u değildir. Az sayıda nitelikli gözden geçirenin adayları doğrulayabildiği veya reddedebildiği hızdır. Bir güvenlik açığı raporu, onu yeniden üretebilecek bir kişiye ihtiyaç duyar; bir biyolojik ipucu, ıslak laboratuvar çalışmasına değip değmeyeceğine karar verebilecek bir kişiye ihtiyaç duyar. Hiçbir kuyruk GPU saatleriyle ölçeklenmez.
Dolayısıyla işe yarar soru değişir. Bir agent'ın ne kadar kesin olduğunu sormak yerine, bir filonun belirtilen bir yanlış pozitif bütçesinde gözden geçiren dikkatinin birimi başına kaç doğrulanmış bulgu ürettiğini sorun. Bu farklı bir niceliktir, farklı bir eksende ölçülür ve çoğu agent benchmark'ı bunu raporlamaz. Her çıktının zaten kontrol edilebilir olduğu bilinen, özenle seçilmiş görevlerde geçme oranlarını raporlarlar; bu da gerçek filo dağıtımlarına hâkim olan triyaj maliyetini tam olarak ortadan kaldırır.
Bu kayma aynı zamanda bir "bulgu"nun ne olduğunu da değiştirir. Filo ölçeğinde bulgular bağımsız çekilişler değildir. Kümelenirler.
Tekilleştirme ürünün kendisidir
Aynı kod tabanı veya aynı protein-etkileşim korpusu üzerinde bin agent çalıştırın, birbirlerine yakınsayacaklardır. Birçoğu aynı eksik sınır kontrolünü, aynı şüpheli bağlanma motifini, aynı bozuk parser dalını ortaya çıkaracaktır. Ham çıktı büyük bir keşif külliyatı gibi görünür; farklı çıktı ise genellikle bunun küçük bir kesridir.
Bu, kümeleme ve tekilleştirmeyi sonradan işleme süsü değil, yük taşıyan bileşen haline getirir. Hat, iki aday bulgunun ne zaman aynı bulgu olduğuna karar vermek zorundadır ve bunu bir gözden geçirenin gruplamaya güvenebileceği kadar tutarlı yapmalıdır. İki hata modu önemlidir. Aşırı birleştirme, gerçekten farklı bulgular tek bir kümede kaybolur; bu sessiz bir recall kaybıdır. Aşırı ayırma ise gözden geçirenin aynı sorunu on bir farklı açıklama altında on bir kez görmesidir; bu da kılık değiştirmiş triyaj kuyruğu problemidir.
Concordance tarzı izleme, yani bir grup agent'ın aynı veya neredeyse aynı girdi üzerinde nerede anlaşmazlığa düştüğünü kaydetme pratiği, burada kolayca gözden kaçan bir şekilde işe yarar. Tek-agent hata ayıklamada bu bir merak konusudur. Bir filoda ise bir triyaj sinyalidir: birçok agent'ın bağımsız olarak yakınsadığı bir küme güçlü bir adaydır ve agent'ların tutarlı bir sınır boyunca ayrıldığı bir küme, gözden geçirene yargı kararının gerçekte nerede olduğunu söyler. İz, bir bulgunun doğru olduğunun kanıtı değildir, ama gözden geçiren dikkatinin en iyi nereye harcanacağına dair ucuz bir önseldir.
Dürüst ödünleşim şudur: tekilleştirme, kendi hata oranına sahip, kendisi de model biçimli bir karardır ve genellikle hizmet ettiği agent'lardan çok daha az titizlikle değerlendirilir. Kuyruk uzunluğunu azaltmak için ayarlanmış bir dedup katmanı agresif birleştirir ve bulguları gizler; recall için ayarlanmış olan ise hiç dedup yokmuş gibi görünen bir kuyruk geri verir. Bu nedenle hat, kümeleme kararını görünmez bir şekilde çözmek yerine gözden geçirene açmalıdır ve kümelerin düzenli görünüp görünmediği üzerinden değil, sıralı listenin doğrulanmış bulguları üst sıralara yakın koyup koymadığı üzerinden değerlendirilmelidir.
Bir filo benchmark'ının raporlaması gerekenler
Bir keşif filosu için isteyeceğimiz benchmark bir liderlik tablosu satırı değildir. Bir eğridir ve ona bağlı üç şeye ihtiyaç duyar.
Gözden geçiren saatlerine karşı verim. Doğrulanmış bulguları dikey eksene, harcanan gözden geçiren saatlerini yatay eksene yerleştirin ve tek bir ortalanmış rakam yerine her çalışma noktasındaki yanlış pozitif oranını belirtin. Eğri önemlidir çünkü kuyruk işlendikçe marjinal bulgu pahalılaşır: incelemenin ilk saati bariz kümeleri yakalar, onuncu saat belirsiz kuyruğu öğütür. Tek bir kesinlik sayısı bu şekli tamamen gizler.
Triyaj dahil doğrulanmış bulgu başına maliyet. Agent-çalıştırması başına hesaplama maliyetini ölçmek kolaydır ve tek başına yanıltıcıdır. Bir filonun çalıştırılmaya değip değmediğini belirleyen sayı, dedup geçişini, sıralama geçişini ve gözden geçiren süresini içerir; çünkü hesaplamayı yarıya indirip gözden geçiren yükünü ikiye katlayan bir yapılandırma bir gerilemedir. Tüm zinciri raporlayın ya da hiçbir şey raporlamayın.
Aynı korpus üzerinde yeniden üretilebilirlik. Aynı filo yapılandırmasını aynı korpus üzerinde yeniden çalıştırın ve doğrulanmış kümenin ne kadarının tekrarlandığını raporlayın. Filolar, birikimli biçimde stokastiktir: örnekleme, tool call sıralaması ve kümeleme eşikleri hep etkileşir. Doğrulanmış bulguları tekrarlamayan bir yapılandırma bir keşif aracı değil, iyi arayüzlü bir rastgele sayı üretecidir.
Bunun ölçülmesi için somut bir mekanizma: hattı, her adayın onu üreten agent'tan, içine düştüğü kümeden, onu çözen gözden geçiren kararına kadar bir köken kaydı taşıyacak şekilde enstrümante edin. Bu kayıt, bir ekibin verim eğrisini hafızadan yeniden kurmak yerine sonradan hesaplamasını sağlayan şeydir ve bir yeniden çalıştırmayı orijinalle karşılaştırılabilir kılan şeydir.
Bunların hiçbiri bedava değildir. Enstrümantasyon gecikme ve depolama ekler, sıralı liste kendisi de değerlendirilmesi gereken bir sıralama modeli gerektirir ve bir gözden geçiren-saati ekseni, kendi inceleme süresini kaydedecek kadar dürüst bir organizasyon gerektirir. Alternatif, çıktı hacmi doğrulanmış bulgularından daha hızlı büyüyen bir filodur; bu da benchmark'ların şu anda göremediği hata modudur.
Önce gözden geçiren dikkatini bütçeleyin
Bundan çıkan tasarım kuralı, hesaplama ile düşünen ekipler için rahatsız edicidir: önce gözden geçiren bütçesini belirleyin, sonra filoyu buna göre boyutlandırın. Triyaj kapasitesi haftada sabit bir saat sayısıysa, bu sayı hattın kaç aday yaymayı karşılayabileceğini belirler ve filo boyutu aday başına beklenen verimden çıkar. Agent'ları triyaj kapasitesinin ötesine ölçeklemek daha fazla keşif üretmez. Daha uzun bir kuyruk, morali bozulmuş bir inceleme ekibi ve kimsenin gürültüden ayırt edemediği, karara bağlanmamış adaylardan büyüyen bir birikim üretir.
Bu, olağan ölçekleme konuşmasını tersine çevirir. Daha fazla agent ancak tekilleştirme ve sıralama katmanları çıktılarını daha kısa, daha iyi sıralanmış bir listeye dönüştürdüğünde işe yarar. Bu dönüşümün zayıf olduğu yerde ek agent'lar maliyet ve kuyruk derinliği ekler, karşılığında gösterecek doğrulanmış bulgu olmaz. Bunu doğru yapan organizasyonlar triyaj hattını ürün, filoyu da ona tedarikçi olarak ele alma eğilimindedir ve tedarikçiyi kaç aday üretebildiği üzerinden değil, gözden geçiren saati başına verim üzerinden değerlendirir.
Güvenlik açığı keşfi ve biyolojik ipucu üretimi gibi, karara bağlama adımının pahalı ve nitelikli gözden geçiren arzının sabit olduğu programlar için bu çerçeveleme bir incelik değildir. Bir şeyler bulan bir filo ile iş üreten bir filo arasındaki farktır.