Google создал симулированную среду, в которой ИИ-агенты могут тренироваться, сообщает The New Stack. В том же материале отмечается, что физика симуляции остаётся недостаточно точной. Эта деталь важнее, чем кажется на первый взгляд: агент, обученный или оценённый в синтетическом мире, наследует все приближения этого мира, а модель физики, расходящаяся с реальностью, превращает тренировочный прогон в репетицию не той задачи.
Недавняя работа NVIDIA указывает на ту же проблему с другой стороны. Компания выпустила инструменты Isaac вместе с агентом-пайплайном для обучения локомоции роботов в симуляции, что опирается на ту же предпосылку: контакт, трение и динамика ведут себя достаточно близко к физическому миру, чтобы выученное поведение переносилось. Ни то, ни другое не является в первую очередь вопросом рендеринга. Разрыв кроется в точности динамики и тех контрагентов, с которыми сталкивается агент, и в итоге проявляется как проблема валидности оценки — бенчмарк, удостоверяющий компетентность в мире, которого не существует.
Для команд, строящих агентные системы, практическое следствие таково: результаты симуляции нужно приводить вместе с их допущениями. Из предоставленного материала неясно, как измеряется разрыв в точности, какие среды или задачи задействованы и сообщает ли какая-либо из сторон о результатах переноса в физические или производственные условия. Пока это не опубликовано, симулированную производительность следует читать как внутренний сигнал, а не как внешнее утверждение.