مسئول سیاست‌گذاری Hugging Face گفته است که ارزیاب‌های هوش مصنوعی تعبیه‌شده راه‌حل ساده‌ای نخواهند بود، به گزارش TechCrunch. این اظهارنظر به یک فرض رایج معماری اشاره دارد: اینکه یک مدل داوری که درون یک pipeline agent تعبیه شده است می‌تواند به‌عنوان کنترلی قابل اتکا بر رفتار سیستم پیرامون خود عمل کند. برای تیم‌هایی که انطباق را ابزارگذاری می‌کنند، این فرض زیربنای بخش بزرگی از رویه فعلی است، از امتیازدهی درون‌خطی تا بررسی خودکار خروجی agent پیش از انتشار.
این اظهارنظر در کنار مداخله‌ای جداگانه از METR مطرح می‌شود که از توسعه‌دهندگان خواست شواهد ایمنی داخلی را برای بررسی بیرونی باز کنند. این دو با هم به شکافی میان خودارزیابی و بازبینی مستقل اشاره دارند. ارزیابی که pipeline مشترکی با سیستمی دارد که داوری می‌کند، نقاط کور آن سیستم را به ارث می‌برد، و خروجی‌هایش تنها تا همان حدی قابل حسابرسی است که تیم تصمیم بگیرد شواهد را منتشر کند. هیچ‌یک از این دو موضع، بر اساس گزارش‌ها، ارزیابی تعبیه‌شده را رد نمی‌کند؛ هر دو این پرسش را مطرح می‌کنند که آیا می‌تواند به‌تنهایی بار یک کنترل را بر دوش بکشد.
زمان‌بندی آن قابل توجه است. این اظهارنظرها پس از موجی از ابزارهای فروشندگان مطرح می‌شوند که به‌عنوان پایش و بررسی agent معرفی شده‌اند، که بخش زیادی از آن‌ها بر این فرض بازاریابی شده است که یک داور درونpipeline پرسش نظارت را می‌بندد. آنچه از این پوشش خبری روشن نمی‌ماند این است که مسئول سیاست‌گذاری چه جایگزینی را ترجیح می‌دهد، و METR در عمل چه شکلی از بررسی بیرونی را انتظار دارد. فعلاً برداشت عملی این است که ارزیاب‌های تعبیه‌شده بهتر است به‌عنوان یک سیگنال در میان چند سیگنال در نظر گرفته شوند، همراه با شواهدی که از بیرون pipeline قابل بررسی باشد.