METR, değerlendirilen felaket riskinin düşük olduğu konusunda hemfikir olsa da Anthropic'in agent güvenlik testlerinin tasarımını sorguladı. Anlaşmazlık, sonuçtan ziyade değerlendirmelerin nasıl kurgulandığı üzerinde yoğunlaşıyor; bu da tartışmayı risk kararının değil metodolojinin alanına yerleştiriyor. Agent sistemleri etrafında güvence dosyaları oluşturan ekipler için pratik ayrım tam da budur: düşük riskli bir bulgu, ancak onu üreten harness kadar yeniden kullanılabilir.
Bu karşılıklı açıklama, agent güvenliğine dair öz bildirimli kanıtların daha geniş çapta sorgulandığı bir dönemde geldi. Değerlendirmelerin, değerlendirilen geliştirici tarafından tasarlanıp yürütüldüğü durumlarda bağımsız denetçilerin sonucu yeniden üretebilmeleri veya itiraz edebilmeleri için görev kurgusu, puanlama ve hata yönetimi konularında yeterli görünürlüğe ihtiyaçları vardır. METR'in itirazı, bu görünürlüğün yetersiz olduğunu veya harness tercihlerinin tartışmaya açık olduğunu ima ediyor; ancak sağlanan kapsam, hangi değerlendirme bileşenlerine itiraz edildiğini, hangi alternatif tasarımın önerildiğini veya revize bir değerlendirmenin planlanıp planlanmadığını belirtmiyor. Bu ayrıntılar belirsizliğini koruyor.
Agent mühendisliği açısından operasyonel çıkarım, güvence iddiaları için darboğazın manşet risk seviyesi değil harness tasarımı olduğudur. Agent sistemleri üreten stüdyolar, denetçilerin değerlendirme kurgusunu doğrudan inceleyeceğini öngörmeli ve görev tasarımını, puanlama kurallarını ve bilinen sınırlamaları sonuçlarla birlikte belgelemelidir. Karar üzerinde anlaşmak, kanıtı çözüme kavuşturmaz.