Перейти к основному содержимому

Akka тестирует spec-driven AI-разработку на 65 open source проектах

Behzat AIspec-driven-developmentai-code-generationagent-evaluationopen-sourcecode-review
Тёмный экран с строками исходного кода моноширинным шрифтом редактора с подсветкой синтаксиса.

Akka провела spec-driven AI-разработку на 65 open-source проектах, согласно материалу, опубликованному через InfoQ. Подход рассматривает спецификации как контракт для сгенерированных изменений: вместо того чтобы позволять агенту выводить намерение из промпта и диффа, спецификация определяет, чему должно удовлетворять изменение, и сгенерированный код оценивается на соответствие ей. Прогон этого workflow на 65 реальных репозиториях — с их существующими тестами, соглашениями и графами зависимостей — это конкретная точка данных о том, выдерживает ли specification-first подход проверку за пределами игрушечных примеров.

Low angle view of a geometric steel facade with intersecting girders in contemporary architecture

Результат соседствует с другими релизами агентных инструментов, о которых сообщалось в том же цикле, и дополняет открытый бенчмарк ReviewBench для AI-ревью кода. Эти два проекта решают разные половины одной задачи: ReviewBench измеряет, насколько хорошо модели ревьюят код, котор!Hand pointing at the waveform screen of a vintage oscilloscope indoors

Что остаётся неясным из предоставленного материала — это детали оценки. В опубликованных материалах не указано, сколько из 65 проектов завершились успешно, как спецификации создавались или поддерживались, какие модели или конфигурация агента использовались, а также как измерялись стоимость и трудозатраты на ревью. Именно эти цифры позволили бы инженерной команде судить, переносится ли этот workflow на её собственные репозитории.

Давайте поговорим!