Anthropic работает над FlashProve — открытой системой, предназначенной для верификации выходных данных ИИ-моделей, согласно публикации об анонсе. В той же публикации сообщается, что Anthropic опубликовала результаты по доказуемому инференсу для больших языковых моделей. В совокупности это указывает на слой верификации, который располагается между моделью и системами, потребляющими её выходные данные.
Для команд, эксплуатирующих агентные стеки, примитив верификации меняет вопросы, которые можно задавать при закупке и во время работы. Утверждения о происхождении становятся тем, что покупатель может проверить, а не принять на основании документации, а аттестация может перейти от бумажной работы на этапе развёртывания к проверкам каждого выходного результата внутри пайплайна. Это особенно важно там, где агенты вызывают инструменты, выстраиваются в цепочки между моделями или передают результаты в нижестоящие системы, которые не могут напрямую исследовать модель.
В предоставленной публикации не указаны даты релиза, поддерживаемые семейства моделей, метод верификации, характеристики производительности или условия лицензирования помимо описания как открытого исходного кода. Также неясно, верифицирует ли FlashProve идентичность модели, целостность выходных данных или и то и другое, и как она будет интегрироваться с существующими стеками аттестации и логирования. Эти детали определяют, пригоден ли примитив как средство контроля во время работы или только как вспомогательное средство аудита.
Студия будет отслеживать спецификацию и эталонную реализацию по мере их появления, уделяя особое внимание тому, как результаты верификации могут фиксироваться и перепроверяться в мультиагентных пайплайнах.