NVIDIA опубликовала рекомендации по оценке ИИ-агентов; в материалах описывается фреймворк, охватывающий промежуточные вызовы инструментов и итоговые результаты задач. Материал размещён в NVIDIA Technical Blog.
Для команд, создающих агентные системы, полезный сдвиг здесь — в единице оценки. Большинство текущих стендов оценки оценивают один ответ относительно эталонного. Поведение агента устроено иначе: запуск — это траектория решений, где каждый вызов инструмента — шаг, который может быть корректным, избыточным, неверно упорядоченным или потраченным впустую, а итоговый результат может быть верным по неверным причинам или неверным несмотря на разумные промежуточные шаги. Различение промежуточных вызовов инструментов и итогового выполнения задачи в этом фреймворке даёт командам конкретный словарь для оценки и того, и другого, а также для 
](/media/server-rack-closeup-17eeb1-7db751.jpg)
Что именно не указано в предоставленных материалах — это точный набор метрик, метод подсчёта баллов, какая-либо эталонная реализация или то, как фреймворк обходится с мультиагентными и длинногoризонтными запусками. Эти детали не указаны в доступном материале и здесь не утверждаются. Практическое следствие для проектирования оценки уже, но реально: оценка на уровне траектории требует собственной инструментации, а выполнение задачи следует измерять отдельно от пути, которым к нему пришли.