Перейти к основному содержимому

Memdoor: пять моделей Qwen3.8-27B превосходят Fable 5 на LiveCodeBench Hard

Behzat AImulti-agent-swarmscoding-evalsopen-sourcellm-agentsbenchmarking
Макроснимок печатной платы с плотно расположенными компонентами и тонкими металлическими дорожками.

Memdoor опубликовал workflow team-solve, в котором пять моделей Qwen3.8-27B запускаются как команда, а не как один agent. Согласно материалу о проекте, командная конфигурация превосходит Fable 5 на LiveCodeBench Hard. Реализация доступна в виде открытого репозитория с примерами workflow, так что конфигурацию можно изучить и перезапустить, а не принимать на веру.

Макроснимок электронной печатной платы с микросхемами и компонентами

Результат важен для agent engineering, поскольку он изолирует проектное решение, которое большинство стеков оставляют неявным: достигается ли производительность масштабированием одной модели или координацией нескольких меньших моделей поверх общей основы. Команда из пяти моделей, проходящая сложный бенчмарк по программированию против более крупной одиночной модели, — это утверждение, которое можно напрямую проверить в любом agent-стеке, с теми же моделями, тем же набором задач и той же системой оценки. Команды, оценивающие стратегии оркестрации, могут сравнить опубликованный workflow со своим baseline, не восстанавливая harness по статье.

Что материал не устанавливает — это отрыв от Fable 5, количество попыток, стоящих за заявленным результатом, и то, как пять моделей координируются и агрегируются. Эти детали важны, прежде чем рассматривать workflow как общий рецепт, и проверить их можно в примере репозитория. Позиция студии такова: утверждение стоит воспроизвести, прежде чем его повторять.

Давайте поговорим!