گزارشی استدلال می‌کند که ارزیابی‌های هوش مصنوعی می‌توانند بدون‌سوگیری به نظر برسند بدون اینکه منصفانه باشند. برای تیم‌هایی که agent ارائه می‌دهند، این تمایز عملیاتی است نه آکادمیک: اگر یک مجموعه ارزیابی سوگیری ساختاری داشته باشد که به صورت واریانس ظاهر نشود، آزمون‌های پذیرش قبول می‌شوند در حالی که سیستم مستقر کاربران را نادرست رتبه‌بندی می‌کند. این یک مسئله قرارداد اندازه‌گیری است، نه یک مسئله کیفیت مدل، و در بالادست بیشتر تصمیم‌های انتشار قرار دارد.
پژوهش‌های پیرامونی نیز در همین جهت اشاره دارند. یک مطالعه تشخیص توهم کم‌منبع برای LLMها را در تنظیمات چندوظیفه‌ای بررسی می‌کند؛ مطالعه‌ای دیگر امضاهای واگرایی نهایی پاسخ‌های جفت‌شده را به عنوان راهی برای مشخصه‌سازی آسیب‌پذیری jailbreak تحلیل می‌کند. هر دو ارزیابی را به عنوان ابزاری برای اعتبارسنجی می‌بینند، نه تابلوی امتیازی برای اعتماد. یک مرور از agentهای LLM گذار از فراخوانی تک‌ابزار به هماهنگ‌سازی چندابزاری را دنبال می‌کند، که سطحی را که یک مجموعه پذیرش باید پوشش دهد گسترده‌تر می‌کند: مسیریابی، انتخاب ابزار و وضعیت چندمرحله‌ای همگی به رفتارهای قابل آزمون تبدیل می‌شوند.
آنچه از پوشش ارائه‌شده نامشخص می‌ماند دامنه و روش است — حالت‌های شکست خاص گزارش، مجموعه‌داده‌های پشت کار توهم و jailbreak، و اینکه آیا هیچ‌کدام رویه‌های حسابرسی مشخصی پیشنهاد می‌کنند. پیامد عملی برای مهندسی agent این است که طراحی ارزیابی را به عنوان یک قرارداد ببینیم: تعریف کنیم که انصاف برای وظیفه چه معنایی دارد، آزمون‌ها را بیازماییم، و بررسی‌های واگرایی و مسیریابی را در کنار دقت نگه داریم.
پوشش: گزارش، تشخیص توهم، واگرایی jailbreak.