Заметки о построении агентных систем
Стенды для оценки, паттерны оркестрации, проектирование памяти и стоящие за ними неудачи — описано, пока детали ещё свежи.
Агенты, которые подчиняются, но всё равно причиняют вред: случай в Филадельфии как провал спецификации
Случай с ложной наводкой в Филадельфии — это не история про галлюцинацию. Это провал спецификации: агент выполнил значимое действие, предпосылки которого никогда не были объявлены.
Трассировка недетерминизма: что Concordance и DeepEval раскрывают об оценке агентов
Непоследовательные решения агента — обычно проблема недостающих входных данных. Оценка должна записывать и воспроизводить полный контекст решения, а не оценивать выходы постфактум.
Kill switch предполагает один процесс: семантика завершения для флотов агентов
Kill switch и обещания изоляции предполагают один управляемый процесс на агента. Развёрнутый флот — это граф родителей, потомков, сессий инструментов и lease-ов, и ему нужен протокол завершения, а не выключатель.
Агентная коммерция — это проблема грамматики делегирования, а не витрины
Walmart и Amazon спорят не о ботах. Они дают разные ответы на вопрос о том, как мандат покупателя выражается, ограничивается и подтверждается при оформлении заказа.
Агентная коммерция расходится по вопросу ответственности, а не протокола: Walmart, Amazon и вопрос мандата
Ритейлеры расходятся во взглядах на агентов для покупок, потому что не согласны, кто несёт издержки по спорной транзакции. Реальная поверхность интеграции — это запись мандата, а не протокол.
Управление на уровне runtime побеждает управление промптами: разбор дискуссии о Nvidia Sentry и kill-switch
Контроли на уровне промптов носят рекомендательный характер, потому что живут внутри вероятностной системы. Перехват на уровне runtime находится там, где действия становятся конкретными, и именно там должна быть власть.
Eval-наборы устаревают: версионируйте харнесс, а не только модель
Самоулучшающиеся агенты, запоминающие свои тесты, выявляют дефект пайплайна: eval-наборы — это артефакты данных с теми же обязательствами жизненного цикла, что и код.
Спящие агенты сохраняют свои ключи: отзыв учётных данных как этап жизненного цикла
Агент, который перестал работать, но сохранил свои учётные данные, — это безнадзорный принципал. Гигиена парка должна планировать истечение срока действия учётных данных, а не считать это запоздалой мыслью при выводе из эксплуатации.
Бенчмарки в порядке; проблема в обвязке, которую вы не версионировали
Оценка в лидерборде — это совместный результат модели, схем инструментов, политики повторных попыток и ограничений среды выполнения. Публикуйте обвязку, иначе число ничего не значит.