Hugging Face'in politika sorumlusu, TechCrunch'a göre gömülü AI değerlendiricilerinin kolay bir çözüm olmayacağını söyledi. Bu açıklama yaygın bir mimari varsayımı hedef alıyor: bir agent pipeline'ı içine yerleştirilmiş bir yargıç modelinin, çevresindeki sistemin davranışı üzerinde güvenilir bir kontrol işlevi görebileceği varsayımını. Uygunluk ölçümü yapan ekipler için bu varsayım, satır içi puanlamadan agent çıktısının yayın öncesi otomatik denetimine kadar mevcut uygulamaların büyük bölümünün temelini oluşturuyor.
Bu yorum, geliştiricileri iç güvenlik kanıtlarını dış denetime açmaya çağıran METR'in ayrı bir müdahalesiyle aynı döneme denk geliyor. İkisi birlikte öz değerlendirme ile bağımsız inceleme arasındaki boşluğa işaret ediyor. Yargıladığı sistemle aynı pipeline'ı paylaşan bir değerlendirici, o sistemin kör noktalarını devralır ve çıktıları ancak bir ekibin yayımlamayı seçtiği kanıtlar kadar denetlenebilir olur. Aktarıldığı kadarıyla iki görüş de gömülü değerlendirmeyi dışlamıyor; ikisi de bunun tek başına bir kontrolün ağırlığını taşıyıp taşıyamayacağını sorguluyor.
Zamanlama dikkat çekici. Bu açıklamalar, agent izleme ve denetimi olarak sunulan ve büyük ölçüde pipeline içi bir yargıcın denetim sorununu kapattığı öncülüyle pazarlanan bir dizi satıcı aracının ardından geldi. Haber kapsamından netleşmeyen şey, politika sorumlusunun hangi alternatifi tercih edeceği ve METR'in pratikte ne tür bir dış denetim beklediği. Şimdilik pratik okuma şu: gömülü değerlendiriciler en iyi ihtimalle birkaç sinyalden biri olarak ele alınmalı ve pipeline dışından incelenebilecek kanıtlarla birlikte kullanılmalı.