Заметки о построении агентных систем
Стенды для оценки, паттерны оркестрации, проектирование памяти и стоящие за ними неудачи — описано, пока детали ещё свежи.
Полный доступ к диску — это грубое разрешение: ограничение прав чтения агента по классам данных
Полный доступ к диску в macOS — это один булев флаг на все пользовательские файлы. Устойчивое решение — права чтения по классам данных с провенансом при каждом чтении.
Асимметрия устранения последствий: почему реагирование на инциденты предполагает оператора, которого не существует
Инциденты с автономными агентами обнажают пробел: плейбуки предполагают одного ответственного оператора, но ответственность распределена между вендорами, фреймворками, интеграторами и пользователями.
Роям агентов нужен контракт обнаружения, а не общая база данных
В масштабе роя сложная задача — договориться о том, как факты именуются, версионируются и выводятся из обращения. Контракт обнаружения должен предшествовать любому общему хранилищу.
Утечка выходных данных — это сбой происхождения, а не сбой выравнивания модели
Когда агент публикует пользовательские артефакты, которые он не должен был экспортировать, дефект заключается в отсутствии отслеживания происхождения и заражения данных, поступающих в сгенерированный вывод.
Агентам на рынках предсказаний нужен реестр расчётов, а не оценка уверенности
Когда агент открывает позицию, его вероятностный вывод становится обязательством по расчёту. Значимый артефакт — это реестр расчётов по каждому утверждению с указанием происхождения данных, а не калиброванное число.
Аудит-логи для агентов — это задача журнала упреждающей записи, а не дашборда
Подотчётность агента доказуема только тогда, когда каждый вызов инструмента, использование учётных данных и переход состояния добавляются в журнал до их выполнения, что делает журнал runtime-зависимостью.
Институциональная память: что агент должен помнить, а что обязан забыть
Постоянная память агента полезна только при наличии происхождения и срока действия; неограниченное вспоминание превращает хранилище контекста в обузу без аудиторского следа.
Память — это проблема политики записи: срок хранения, происхождение и цена запоминания
Большинство сбоев памяти агента возникает в момент записи, а не при извлечении. Происхождение, классы чувствительности и срок хранения на уровне схемы устраняют их раньше и дешевле.