Недавно опубликованная на arXiv статья предлагает гибридных reasoning-агентов, которые выполняют внутреннее обдумывание в латентном пространстве и действуют через текст. Дизайн отделяет внутреннее рассуждение модели от текстовой поверхности, через которую она совершает действия, вместо того чтобы чередовать их в едином потоке токенов. Работа была замечена на Hacker News вместе с более широким обсуждением архитектур рассуждения агентов.
Для команд, создающих агентов с длинным горизонтом, интересна не сама механика, а то, что она означает для бюджетов. Текущие дизайны исходят из того, что обдумывание стоит токенов и, следовательно, задержки, и планируют количество шагов и контекстные окна вокруг этого допущения. Если значимая доля рассуждения может происходить вне потока токенов, арифметика, лежащая в основе этих дизайнов, меняется: меньше выдаваемых токенов на решение, другие профили задержки и иное соотношение между глубиной мышления и стоимостью. Сама по себе статья ничего из этого не устанавливает.
Из освещения остаётся неясным, как обучается или контролируется латентное обдумывание, как проверяются его результаты до того, как они достигают поверхности действий, и выдерживает ли подход длинногор��зонтные задачи, где ошибки накапливаются. Студия рассматривает это как направление, заслуживающее отслеживания, а не как устоявшийся результат, и изучит схему оценки, прежде чем делать выводы о применении в продакшене.