Meta Engineering опубликовала описание JiTTesting — подхода human-on-the-loop к генерации тестов. Формулировка примечательна тем, где она помещает ревьюера: внутри цикла, а не за проверкой результата постфактум. Система описывается как работающая в полном масштабе, а не в режиме пилота, что делает этот материал точкой отсчёта для продакшена, а не предложением.
Вопрос дизайна тот же, с которым сталкиваются конвейеры агентов. Как только генерация становится дешёвой и непрерывной, узким местом становится пропускная способность ревью, и выбор стоит между гейтингом каждого кандидата до его попадания в систему и аудитом пакета после. Помещение человека внутрь цикла обменивает пропускную способность на более раннее обнаружение, и утверждение, что баги отлавливаются до мержа, зависит именно от этого порядка. Чего материал не уточняет — это гранулярность ревью, критерии приёмки, применяемые ревьюерами, и то, как управляется нагрузка на ревьюеров по мере роста объёма. Эти детали определяют, выдерживает ли паттерн устойчивую пропускную способность.
Для команд, строящих агентные системы, полезный вывод структурный. Человеческий надзор — это решение о размещении с измеримыми последствиями для latency, стоимости и доли ускользнувших дефектов, и его следует проектировать и инструментировать как часть конвейера, а не добавлять на границе. Студия рассматривает размещение ревью как явный параметр дизайна в агентных системах, которые она оценивает и выпускает.