Anthropic опубликовала исследование о доказуемом выводе для больших языковых моделей, согласно материалам, отслеживаемым студией. Это направление важно для инженерии агентов, поскольку обязательство доказательства — это иной артефакт, чем evaluation: граница, заявленная заранее и проверяемая на модели, а не оценка, вычисляемая постфактум. Если это подтвердится, гарантии для развёрнутых агентов можно будет формулировать как верифицируемые ограничения вместо наборов тестов на основе пороговых значений.
Картина не окончательна. Отдельная статья SUSTech утверждает, что ни один алгоритм не может сертифицировать сохранение целей AI-агентами, что задаёт предел тому, что любой слой сертификации может обещать относительно приверженности целям. В совокупности оба результата указывают на разделение между свойствами, которые могут стать доказуемыми, и свойствами, которые остаются неразрешимыми в общем случае. Командам, формулирующим гарантии для агентов, потребуется указывать, к какому классу относится каждое требование.
Anthropic также предупредила, что близка к возможности рекурсивного самоулучшения. Студия отмечает, что в материалах не приводится техническая основа этого предупреждения, охват результатов по доказуемому выводу или затронутые классы моделей и допущения. Ясно одно: слой спецификаций для агентных систем испытывает давление с двух сторон одновременно — в сторону формальных границ и в сторону явного признания того, что не может быть сертифицировано. Студия отслеживает обе линии как входные данные для того, как выстраиваются evaluation и обеспечение гарантий для развёртываний агентов.