پرش به محتوای اصلی

Akka تحویل مبتنی بر مشخصات هوش مصنوعی را در ۶۵ پروژه متن‌باز آزمایش کرد

Behzat AIspec-driven-developmentai-code-generationagent-evaluationopen-sourcecode-review
صفحه‌ی تاریکی که خطوطی از کد منبع را با فونت ویرایشگر تک‌فاصله و برجسته‌سازی نحوی نشان می‌دهد.

Akka تحویل مبتنی بر مشخصات هوش مصنوعی را روی ۶۵ پروژه متن‌باز اجرا کرده است، بر اساس پوششی که از طریق InfoQ منتشر شده. این رویکرد مشخصات را به‌عنوان قرارداد تغییرات تولیدشده در نظر می‌گیرد: به‌جای اینکه اجازه دهد یک agent قصد را از یک prompt و یک diff استنباط کند، مشخصات تعیین می‌کند که تغییر باید چه چیزی را برآورده کند و کد تولیدشده در برابر آن ارزیابی می‌شود. اجرای این گردش‌کار روی ۶۵ مخزن واقعی — با تست‌ها، قراردادها و گراف‌های وابستگی موجودشان — یک داده‌ی عینی درباره این است که آیا تحویل مشخصات‌محور بیرون از مثال‌های اسباب‌بازی دوام می‌آورد یا نه.

Low angle view of a geometric steel facade with intersecting girders in contemporary architecture

این نتیجه در کنار سایر انتشارهای ابزارهای agent که در همان چرخه گزارش شده‌اند قرار می‌گیرد و مکمل بنچمارک متن‌باز ReviewBench برای بازبینی کد هوش مصنوعی است. این دو نیمه‌های متفاوت یک مسئله را هدف می‌گیرند: ReviewBench می‌سنجد که مدل‌ها چقدر خوب کدی را بازبینی می‌کنند که خودشان ننوشته‌ا!Hand pointing at the waveform screen of a vintage oscilloscope indoors

آنچه از پوشش ارائه‌شده نامشخص می‌ماند جزئیات ارزیابی است. مطالب گزارش‌شده بیان نمی‌کند که چند مورد از ۶۵ پروژه با موفقیت تکمیل شد، مشخصات چگونه نوشته یا نگهداری شدند، از کدام مدل‌ها یا پیکربندی agent استفاده شد، یا هزینه و تلاش بازبینی چگونه اندازه‌گیری شد. این‌ها همان اعدادی هستند که به یک تیم مهندسی اجازه می‌دهد قضاوت کند آیا این گردش‌کار به مخزن‌های خودش منتقل می‌شود یا نه.

بیایید صحبت کنیم!