Блог
Заметки о построении агентных систем
Стенды для оценки, паттерны оркестрации, проектирование памяти и стоящие за ними неудачи — описано, пока детали ещё свежи.
03 окт. 2026 г.·6 мин чтения
LLM-судья — это версионируемая зависимость: как снизить затраты на пайплайны оценки, не потеряв сопоставимость
Более дешёвый LLM-судья оправдан только в том случае, если он версионируется, фиксируется и проходит регрессионное тестирование, как любая другая зависимость; иначе экономия оплачивается потерей сопоставимости между запусками.
llm-evaluationjudge-modelsregression-testing
28 сент. 2026 г.·5 мин чтения
Маршрутизация моделей — это задача оценки прежде, чем задача оптимизации
Маршрутизация между моделями окупается только тогда, когда роутер оценивается по результатам на уровне задач на фиксированном наборе eval, а не только по стоимости за токен.
model-routingllm-evaluationagent-systems