Yeni yayımlanan bir arXiv makalesi, içsel muhakemeyi latent uzayda gerçekleştiren ve metin üzerinden eyleme geçen hibrit akıl yürütme ajanları öneriyor. Tasarım, modelin içsel akıl yürütmesini eylemlerini ilettiği metinsel yüzeyden ayırıyor; ikisini tek bir token akışında iç içe geçirmek yerine bu ayrımı yapıyor. Çalışma, ajan akıl yürütme mimarilerine dair daha geniş bir tartışmayla birlikte Hacker News'te gündeme geldi.
Uzun ufuklu ajanlar geliştiren ekipler için ilginç olan mekanizmanın kendisi değil, bütçeler açısından ne anlama geldiği. Mevcut tasarımlar muhakemenin token ve dolayısıyla gecikme maliyeti olduğunu varsayar ve adım sayılarını ve bağlam pencerelerini bu varsayıma göre planlar. Akıl yürütmenin anlamlı bir kısmı token akışının dışında gerçekleşebilirse, bu tasarımların arkasındaki aritmetik değişir: karar başına daha az üretilen token, farklı gecikme profilleri ve düşünme derinliği ile maliyet arasında farklı bir ilişki. Bunların hiçbiri tek başına makale tarafından kanıtlanmış değil.
Haberlerden netleşmeyen nokta, latent muhakemenin nasıl eğitildiği veya denetlendiği, çıktılarının eylem yüzeyine ulaşmadan önce nasıl doğrulandığı ve yaklaşımın hataların biriktiği uzun ufuklu görevlerde dayanıklı olup olmadığı. Stüdyo bunu kesinleşmiş bir sonuç değil, takip edilmeye değer bir yön olarak görüyor ve üretim kullanımına dair sonuç çıkarmadan önce değerlendirme düzeneğine bakacak.