Akka تحویل مبتنی بر مشخصات هوش مصنوعی را روی ۶۵ پروژه متنباز اجرا کرده است، بر اساس پوششی که از طریق InfoQ منتشر شده. این رویکرد مشخصات را بهعنوان قرارداد تغییرات تولیدشده در نظر میگیرد: بهجای اینکه اجازه دهد یک agent قصد را از یک prompt و یک diff استنباط کند، مشخصات تعیین میکند که تغییر باید چه چیزی را برآورده کند و کد تولیدشده در برابر آن ارزیابی میشود. اجرای این گردشکار روی ۶۵ مخزن واقعی — با تستها، قراردادها و گرافهای وابستگی موجودشان — یک دادهی عینی درباره این است که آیا تحویل مشخصاتمحور بیرون از مثالهای اسباببازی دوام میآورد یا نه.

این نتیجه در کنار سایر انتشارهای ابزارهای agent که در همان چرخه گزارش شدهاند قرار میگیرد و مکمل بنچمارک متنباز ReviewBench برای بازبینی کد هوش مصنوعی است. این دو نیمههای متفاوت یک مسئله را هدف میگیرند: ReviewBench میسنجد که مدلها چقدر خوب کدی را بازبینی میکنند که خودشان ننوشتها!
آنچه از پوشش ارائهشده نامشخص میماند جزئیات ارزیابی است. مطالب گزارششده بیان نمیکند که چند مورد از ۶۵ پروژه با موفقیت تکمیل شد، مشخصات چگونه نوشته یا نگهداری شدند، از کدام مدلها یا پیکربندی agent استفاده شد، یا هزینه و تلاش بازبینی چگونه اندازهگیری شد. اینها همان اعدادی هستند که به یک تیم مهندسی اجازه میدهد قضاوت کند آیا این گردشکار به مخزنهای خودش منتقل میشود یا نه.
