پرش به محتوای اصلی

پژوهش Anthropic بررسی می‌کند که ایجنت‌های هوش مصنوعی چگونه قضاوت تخصصی را بازشکل می‌دهند

Behzat AIagent-evaluationexpert-judgmentharness-designenterprise-aiai-oversight
عکس ماکرو از یک برد مدار که مسیرها، نقاط لحیم‌کاری و قطعات نصب‌شده روی سطح را با جزئیات نزدیک نشان می‌دهد

Anthropic پژوهشی منتشر کرده است درباره اینکه ایجنت‌های هوش مصنوعی چگونه قضاوت‌هایی را که متخصصان انجام می‌دهند شکل می‌دهند؛ این خبر در چرخه اخبار هوش مصنوعی آن روز و در کنار پوشش پذیرش سازمانی منتشر شد. این چارچوب‌بندی برای تیم‌هایی که سیستم‌های ایجنت می‌سازند اهمیت دارد: وقتی ایجنت میان یک متخصص حوزه و یک تصمیم قرار می‌گیرد، نتیجه کمتر به مدل زیربنایی و بیشتر به هارنس پیرامون آن بستگی دارد — اینکه چه زمینه‌ای نمایش داده می‌شود، چه چیزی پنهان می‌ماند، توصیه‌ها چگونه ارائه می‌شوند و آیا بیان مخالفت آسان است یا نه.

نمای ماکرو از اجزای برد مدار الکترونیکی شامل ریزتراشه‌ها و مدارها

این یعنی قضاوت به مسئله‌ای طراحی و ارزیابی تبدیل می‌شود، نه مسئله‌ای خرید. هارنسی که بی‌سروصدا دید متخصص را تنگ می‌کند می‌تواند توافقی مطمئن تولید کند در حالی که استدلال پشت آن را فرسوده می‌سازد، و بنچمارک‌های استاندارد دقت وظیفه این را نشان نخواهند داد. تیم‌ها به ارزیابی‌هایی نیاز دارند که بسنجند آیا متخصصان هنوز خطاها را می‌گیرند، هنوز وقتی ایجنت اشتباه می‌کند بر آن غلبه می‌کنند، و هنوز پس از استفاده مداوم استدلال خود را توضیح می‌دهند. بدون این‌ها، فرسایش تا زمانی که پرهزینه شود نامرئی می‌ماند.

به‌طور جداگانه، Anthropic به WSJ گفت که پذیرش هوش مصنوعی سازمانی هنوز در مراحل اولیه است، و دسترسی در سطح کارمند به سیستم‌هایش را به یک ناظر بیرونی هوش مصنوعی اعطا کرده است. هر دو نشانه میدانی هستند که هنوز در حال تنظیم نظارت است. روش‌شناسی، نمونه و هر اثر اندازه‌گیری‌شده این پژوهش در پوشش ارائه‌شده مشخص نیست، بنابراین نتیجه عملی ساختاری می‌ماند: هارنس ایجنت را به‌عنوان موضوع ارزیابی در نظر بگیرید و از ابتدا برای حفظ قضاوت تخصصی طراحی کنید.

بیایید صحبت کنیم!