Заметки о построении агентных систем
Стенды для оценки, паттерны оркестрации, проектирование памяти и стоящие за ними неудачи — описано, пока детали ещё свежи.
Агенты, которые подчиняются, но всё равно причиняют вред: случай в Филадельфии как провал спецификации
Случай с ложной наводкой в Филадельфии — это не история про галлюцинацию. Это провал спецификации: агент выполнил значимое действие, предпосылки которого никогда не были объявлены.
Бенчмарки в порядке; проблема в обвязке, которую вы не версионировали
Оценка в лидерборде — это совместный результат модели, схем инструментов, политики повторных попыток и ограничений среды выполнения. Публикуйте обвязку, иначе число ничего не значит.
Кнопка отмены — это проблема состояния: обратимость как ограничение проектирования агента
Обратимость — это не элемент интерфейса. Это свойство того, как каждый инструмент записывает состояние, и его нужно проектировать для каждого инструмента до предоставления автономии.
Отказ — это решение о маршрутизации, а не свойство модели
Превышение полномочий агентом — это обычно отсутствующее решение об авторизации выше по потоку от модели. Безопасность должна быть в пути запроса, а не только в обучении выравниванию.
Вредоносное ПО, которое само выбирает следующий шаг, ломает сигнатурную защиту
Когда инструменты вторжения используют набор моделей для выбора следующего действия, обнаружение должно сместиться с артефактов на поведение — и агентные платформы наследуют последствия.
Бюджеты полномочий: недостающая поверхность управления между агентом и его инструментами
Ограничения в промпте носят рекомендательный характер. Настоящая безопасность достигается, когда каждая возможность рассматривается как расходуемый бюджет полномочий: область действия, квота, срок действия и аттестация.