پرش به محتوای اصلی

متا از شناسایی باگ‌ها پیش از ادغام با آزمون‌سازی هوش مصنوعی انسان-در-حلقه در مقیاس بزرگ خبر می‌دهد

Behzat AIhuman-in-the-loopagent-testingcode-reviewllm-agentsproduction-systems
عکس ماکرو از یک برد مدار که مسیرها، نقاط لحیم‌کاری و قطعات نصب‌شده روی سطح را با جزئیات نزدیک نشان می‌دهد.

واحد مهندسی متا گزارشی از JiTTesting منتشر کرده است؛ رویکردی انسان-در-حلقه برای تولید آزمون. آنچه در این چارچوب‌بندی قابل توجه است، جایگاه بازبین است: درون حلقه، نه بازرسی خروجی پس از تولید. این سیستم به‌گونه‌ای توصیف شده که در مقیاس کامل و نه به‌صورت آزمایشی کار می‌کند، و همین گزارش را از یک پیشنهاد به یک نقطه مرجع تولیدی تبدیل می‌کند.

نمای ماکرو از یک برد مدار الکترونیکی با ریزتراشه‌ها و قطعات

پرسش طراحی همان پرسشی است که خطوط لوله agent با آن روبه‌رو هستند. وقتی تولید ارزان و پیوسته می‌شود، ظرفیت بازبینی به محدودیت تبدیل می‌شود و انتخاب میان دروازه‌گذاری هر نامزد پیش از پذیرش و ممیزی دسته‌ای پس از آن است. قرار دادن انسان درون حلقه، توان عملیاتی را با تشخیص زودهنگام‌تر معاوضه می‌کند و ادعای شناسایی باگ‌ها پیش از ادغام به همین ترتیب وابسته است. آنچه پوشش خبری مشخص نمی‌کند، دانه‌بندی بازبینی، معیارهای پذیرش اعمال‌شده توسط بازبینان، یا نحوه مدیریت بار بازبینان با رشد حجم است. این جزئیات تعیین می‌کنند که آیا این الگو تحت توان عملیاتی پایدار دوام می‌آورد یا نه.

برای تیم‌هایی که سیستم‌های agent می‌سازند، نکته کاربردی ساختاری است. نظارت انسانی یک تصمیم مکانی است با پیامدهای قابل اندازه‌گیری برای latency، هزینه و نرخ فرار نقص، و باید به‌عنوان بخشی از خط لوله طراحی و ابزارگذاری شود، نه اینکه در مرز آن افزوده شود. استودیو جایگاه بازبینی را به‌عنوان یک پارامتر طراحی صریح در سیستم‌های agent که ارزیابی و تحویل می‌دهد در نظر می‌گیرد.

بیایید صحبت کنیم!