InfoQ üzerinden paylaşılan habere göre Akka, spec-driven AI teslimatını 65 açık kaynak projede çalıştırdı. Bu yaklaşım, spesifikasyonları üretilen değişikliklerin sözleşmesi olarak ele alıyor: bir agent'ın prompt ve diff'ten niyeti çıkarmasına izin vermek yerine, spesifikasyon değişikliğin neyi karşılaması gerektiğini tanımlıyor ve üretilen kod buna göre değerlendiriliyor. Bu iş akışını 65 gerçek depoda — mevcut testleri, konvansiyonları ve bağımlılık grafikleriyle birlikte — çalıştırmak, spesifikasyon-öncelikli teslimatın oyuncak örneklerin dışında da geçerli olup olmadığına dair somut bir veri noktası sunuyor.
Sonuç, aynı döngüde duyurulan diğer agent araç sürümlerinin yanında yer alıyor ve AI kod incelemesi için açık ReviewBench benchmark'ını tamamlıyor. İkisi aynı problemin farklı yarılarını ele alıyor: ReviewBench, modellerin kendi yazmadıkları kodu ne kadar!
Sağlanan haberde belirsiz kalan şey değerlendirme detayı. Paylaşılan materyal, 65 projeden kaçının başarıyla tamamlandığını, spesifikasyonların nasıl yazıldığını veya sürdürüldüğünü, hangi modellerin ya da agent konfigürasyonunun kullanıldığını veya maliyet ile inceleme eforunun nasıl ölçüldüğünü belirtmiyor. Bir mühendislik ekibinin bu iş akışının kendi depolarına aktarılıp aktarılamayacağına karar vermesini sağlayacak sayılar bunlar.