Заметки о построении агентных систем
Стенды для оценки, паттерны оркестрации, проектирование памяти и стоящие за ними неудачи — описано, пока детали ещё свежи.
Журналы исходящего трафика: фиксируем, куда агент ходил, а не только что он отправил
Инспекция содержимого видит полезную нагрузку, но не пункты назначения. Журнал исходящего трафика фиксирует, куда агент ходил, в каком порядке и насколько новым был каждый переход.
Durable Execution — это не Durable Reasoning: чекпоинтинг состояния агента без потери намерения
Сохранение индекса шага агента — это не сохранение состояния его задачи. Системы, которые чекпоинтят выполнение, но не намерение, возобновляются в беглые, бессвязные прогоны.
Судья — это компонент: версионирование пайплайнов LLM-as-Judge как любой другой зависимости
LLM-as-judge заслуживает доверия только тогда, когда модель-судья, промпт, рубрика и параметры декодирования зафиксированы и покрыты регрессионными тестами как полноценный артефакт.
Оценка агентов как воспроизведение инцидентов: построение регрессионного корпуса из продакшн-трейсов
Наборы оценки агентов должны расти из захваченных продакшн-траекторий и воспроизведений инцидентов, а не создаваться из воображаемых задач, потому что важные сбои обнаруживаются, а не проектируются.
Durable Execution — это реальное инфраструктурное требование для долгоживущих агентов
Инвестиции и продукты вокруг durable execution указывают на настоящую сложную проблему в инфраструктуре агентов: детерминированный реплей и идемпотентные эффекты для запусков, которые длятся часами и порождают внешние побочные эффекты.
Агенты для программирования утекают через репозитории, а не через промпты
Утечка 13 000 внутренних изображений через агентов для программирования — это провал гигиены репозитория и ограничения области действия агента: агенты наследуют всю историю и всю поверхность секретов рабочей копии, поэтому единицей изоляции является граница репозитория, а не инструкция.
Инциденты с агентами — это проблема телеметрии, а не политики
Отчёты о вышедших из-под контроля агентах описывают отказы управления, которые оставались невидимыми до самого факта. Первое исправление — это долговечная запись намерения, исходящего трафика и решения.
Шопинг-агентам нужен слой расчётов, а не слой скидок
Агентская коммерция приходит через трейдинг, оформление заказов и API с оплатой по факту использования. Не хватает слоя расчётов и разрешения споров, который фиксирует, какой агент действовал, по какому мандату и кто несёт убытки.
Оформление заказа — это не вызов инструмента: почему браузерные агенты ломают авторизацию в торговле
Браузерные агенты могут проводить оформление заказа, но покупка — это акт согласия. В этом эссе обосновывается необходимость ограниченных платёжных учётных данных и контракта оформления заказа, ориентированного на агентов.