The New Stack'in haberine göre Google, AI agent'larının pratik yapabileceği simüle bir ortam inşa etti. Aynı haber, simüle edilen fiziğin hâlâ yeterince doğru olmadığını da belirtiyor. Bu ayrıntı ilk bakışta göründüğünden daha önemli: sentetik bir dünyada eğitilen veya değerlendirilen bir agent, o dünyanın yaptığı her yaklaşıklığı devralır ve gerçeklikten sapan bir fizik modeli, bir eğitim koşusunu yanlış görev için bir provaya dönüştürür.
NVIDIA'nın son çalışması aynı soruna farklı bir yönden işaret ediyor. Şirket, simülasyonda robot hareketi eğitimi için bir agent hattının yanı sıra Isaac araçlarını da yayımladı; bu da aynı öncüle dayanıyor: temas, sürtünme ve dinamikler, öğrenilen davranışın aktarılabilmesi için fiziksel dünyaya yeterince yakın davranır. Her iki çaba da öncelikli olarak bir render sorunu değil. Boşluk, dinamiklerin ve bir agent'ın karşılaştığı karşı tarafların sadakatinde yatıyor ve bu, aşağı akışta bir değerlendirme geçerliliği sorunu olarak ortaya çıkıyor — var olmayan bir dünyada yetkinliği belgeleyen bir benchmark.
Agent sistemleri kuran ekipler için pratik sonuç, simülasyon sonuçlarının varsayımlarıyla birlikte belirtilmesi gerektiğidir. Sağlanan haberlerden netleşmeyen şey, sadakat boşluğunun nasıl ölçüldüğü, hangi ortamların veya görevlerin söz konusu olduğu ve her iki çabanın da fiziksel veya üretim ortamlarına aktarım sonuçları bildirip bildirmediğidir. Bunlar yayımlanana kadar, simüle edilen performans dışsal bir iddia olarak değil, içsel bir sinyal olarak okunmalıdır.