NVIDIA راهنمایی درباره ارزیابی ایجنت‌های هوش مصنوعی منتشر کرده است که پوشش آن چارچوبی را توصیف می‌کند که فراخوانی‌های میانی ابزار و نتایج نهایی وظیفه را در بر می‌گیرد. این مطلب در NVIDIA Technical Blog منتشر شده است.
برای تیم‌هایی که سیستم‌های ایجنت می‌سازند، تغییر مفید در اینجا واحد ارزیابی است. بیشتر ابزارهای ارزیابی فعلی یک پاسخ واحد را در برابر یک پاسخ مرجع نمره‌دهی می‌کنند. رفتار ایجنت این‌گونه نیست: یک اجرا مسیری از تصمیم‌ها است، هر فراخوانی ابزار گامی است که می‌تواند درست، تکراری، بدترتیب یا هدررفته باشد، و نتیجه نهایی می‌تواند به دلایل نادرست درست باشد یا با وجود گام‌های میانی معقول نادرست باشد. تمایزی که این چارچوب بین فراخوانی‌های میانی ابزار و تکمیل نهایی وظیفه قائل می‌شود، به تیم‌ها واژگانی مشخص برای نمره‌دهی به هر دو و برای جدا ک
](/media/server-rack-closeup-17eeb1-7db751.jpg)
آنچه پوشش ارائه‌شده مشخص نمی‌کند مجموعه دقیق معیارها، روش نمره‌دهی، هر پیاده‌سازی مرجع، یا نحوه برخورد چارچوب با اجراهای چند-ایجنت و بلندمدت است. این جزئیات در مطالب موجود ذکر نشده و در اینجا نیز ادعا نمی‌شوند. پیامد عملی برای طراحی ارزیابی محدودتر اما واقعی است: نمره‌دهی در سطح مسیر به ابزار اندازه‌گیری خود نیاز دارد، و تکمیل باید جدا از مسیر طی‌شده برای رسیدن به آن سنجیده شود.