Заметки о построении агентных систем
Стенды для оценки, паттерны оркестрации, проектирование памяти и стоящие за ними неудачи — описано, пока детали ещё свежи.
Судить судью: когда маленькая модель оценивает большую
Пайплайны с моделью-судьёй экономят средства, но судья — это измерительный инструмент, требующий калибровки, мониторинга дрейфа и состязательного тестирования.
Экономика открытых весов: что меняется, когда инференс — это статья расходов, которой вы владеете
Падение стоимости за токен смещает узкое место агента с выбора модели на качество оркестрации и утилизацию оборудования.
Контроль затрат на уровне траектории: бюджетирование запусков агентов до того, как они ударят по счёту
Учёт токенов на уровне вызова скрывает реальный драйвер затрат в агентных системах: многошаговые циклы. Бюджеты должны привязываться к запуску и применяться вне модели.
Институциональная память: что агент должен помнить, а что обязан забыть
Постоянная память агента полезна только при наличии происхождения и срока действия; неограниченное вспоминание превращает хранилище контекста в обузу без аудиторского следа.
Идентичность агента — это инфраструктурный примитив, а не логин
Автономным агентам нужны делегированные, отзываемые машинные идентичности с собственными ключами, скоупами и журналами аудита — а не заимствованные пользовательские сессии.
Доказуемый контроль: перенос управления из дашбордов в принудительно соблюдаемые инварианты
Наблюдаемость фиксирует, что сделал агент. Управление требует ограничений, которые делают определённые действия невозможными независимо от того, что решит модель.
Малые модели на периферии: решаем, что покидает устройство
Инференс на устройстве — это решение об оттоке данных не меньше, чем решение о задержке. Проводите границу локально/удалённо по классу данных, а не по уверенности модели.
Таксономия отказов агентов: как назвать способы, которыми ломаются многошаговые системы
Общий словарь для режимов отказа агентов превращает разбор инцидентов из анекдота в исчисляемые сигналы, пригодные для регрессионного тестирования, на уровнях модели, инструментов, оркестрации и данных.
Кодирующим агентам нужен контракт песочницы, а не предупреждающая наклейка
Радиус поражения автономного кодирующего агента определяется его песочницей и правилами сетевого egress. Определите этот контракт до того, как определите агента.