跳转到主要内容

Memdoor:五个 Qwen3.8-27B 模型在 LiveCodeBench Hard 上击败 Fable 5

Behzat AImulti-agent-swarmscoding-evalsopen-sourcellm-agentsbenchmarking
电路板的微距照片,显示密集排列的元件和精细的金属走线。

Memdoor 发布了一个团队求解工作流,其中五个 Qwen3.8-27B 模型作为一个团队运行,而非作为单个 agent。根据该项目的报道,这一团队配置在 LiveCodeBench Hard 上击败了 Fable 5。该实现以开放仓库的形式提供,并附有示例工作流,因此可以检查并重新运行该配置,而不必仅凭信任接受。

电子电路板的微距照片,显示微芯片和元件

这一结果与 agent 工程相关,因为它隔离出了一个大多数技术栈都隐而不宣的设计选择:能力是通过扩展单个模型来获得,还是通过在一个共享基底上协调多个较小的模型来获得。一个由五个模型组成的团队在硬编码基准上胜过更大的单个模型,这一主张可以在任何 agent 技术栈中直接用相同的模型、相同的任务集和相同的评分进行检验。评估编排策略的团队可以将已发布的工作流与自己的基线进行比较,而无需从论文中重建测试框架。

该报道未能确立的是相对于 Fable 5 的领先幅度、所报告结果背后的尝试次数,以及五个模型如何协调与聚合。在工作流被视为通用配方之前,这些细节很重要,而示例仓库正是核查它们的地方。本工作室的立场是,这一主张值得在重复之前先进行复现。

让我们聊聊!