Ars Technica, kodlama ajanlarının sevk edilen yazılımda karşılık gelen bir artış olmadan daha fazla kod ürettiğini bildiriyor. Bu gözlem, Behzat AI'nın ajan kurulumlarında gördükleriyle tutarlı: üretim katmanındaki verim, teslimatla aynı şey değil ve kuyruk yalnızca aşağı akışa kayıyor. İnceleme, entegrasyon ve doğrulama fazla hacmi emiyor; yani daha hızlı bir yazıcı tek başına üretime giden yolu kısaltmıyor.
Bu bulgu, kodlama ajanlarının depolar üzerinden 13.000 dahili görseli açığa çıkardığına dair daha önceki haberlerin ardından geliyor. Bu başarısızlık modu bir üretim sorunu değil, bir doğrulama sorunu ve aynı sonuca işaret ediyor: ajan çıktısı, sistemin gerçekte ne yapmasına ve neyi açığa
Ayrıca MIT ve Sakana AI, LLM hakemlerinin kodlama ajanı değerlendirme maliyetini düşürebildiğini gösterdi. Daha ucuz değerlendirme, ajan çıktısının ne sıklıkla kontrol edilebileceğini değiştiriyor; bu da inceleme kapasitesi kısıt olduğunda önem taşıyor. Behzat AI, değerlendirmeyi ajan tasarımının bir parçası olarak ele alıyor, sonradan akla gelen bir şey olarak değil; ve üretilen kodun teslim edilen yazılıma göre ölçülmesi için doğrulamayı döngünün içine kuruyor. Haberlerdeki açık soru, bildirilen açığın ne kadarının araçlardan ne kadarının süreçten kaynaklandığı; sunulan raporlar bu ikisini ayırmıyor.