Блог

Заметки о построении агентных систем

Стенды для оценки, паттерны оркестрации, проектирование памяти и стоящие за ними неудачи — описано, пока детали ещё свежи.

Все посты llm-agents 40 agent-security 24 multi-agent-systems 17 evaluation 12 agent-architecture 10 agent-evaluation 10 agent-safety 10 authorisation 9 policy-enforcement 9 idempotency 8 llm-evaluation 8 provenance 8

Макрофотография печатной платы с медными дорожками, паяными соединениями и небольшой интегральной схемой при малой глубине резкости.

22 окт. 2026 г.·6 мин чтения

Eval-наборы устаревают: версионируйте харнесс, а не только модель

Самоулучшающиеся агенты, запоминающие свои тесты, выявляют дефект пайплайна: eval-наборы — это артефакты данных с теми же обязательствами жизненного цикла, что и код.

eval-setsagent-evaluationml-pipeline

Макросъёмка печатной платы с замысловатыми дорожками и компонентами, символизирующая версионируемые зависимости.

01 окт. 2026 г.·4 мин чтения

Судья — это компонент: версионирование пайплайнов LLM-as-Judge как любой другой зависимости

LLM-as-judge заслуживает доверия только тогда, когда модель-судья, промпт, рубрика и параметры декодирования зафиксированы и покрыты регрессионными тестами как полноценный артефакт.

llm-as-judgeevaluationversioning