Ana içeriğe geç

Memdoor: beş Qwen3.8-27B modeli LiveCodeBench Hard'da Fable 5'i geride bırakıyor

Behzat AImulti-agent-swarmscoding-evalsopen-sourcellm-agentsbenchmarking
Yoğun yerleştirilmiş bileşenleri ve ince metalik izleri gösteren bir devre kartının makro fotoğrafı.

Memdoor, beş Qwen3.8-27B modelinin tek bir agent yerine bir ekip olarak çalıştırıldığı bir ekip çözümü iş akışı yayımladı. Projenin haberleştirilmesine göre ekip yapılandırması, LiveCodeBench Hard'da Fable 5'i geride bırakıyor. Uygulama, örnek iş akışlarıyla birlikte açık bir depo olarak sunuluyor; böylece kurulum, olduğu gibi kabul edilmek yerine incelenebilir ve yeniden çalıştırılabilir.

Mikroçipleri ve bileşenleri gösteren bir elektronik devre kartının makro çekimi

Sonuç, agent mühendisliği açısından önemli; çünkü çoğu yığının örtük bıraktığı bir tasarım tercihini yalıtıyor: yetenek, tek bir modeli ölçeklendirerek mi yoksa birkaç küçük modeli ortak bir zemin üzerinde koordine ederek mi elde ediliyor? Beş modelli bir ekibin, daha büyük tek bir modele karşı zorlu bir kodlama benchmark'ını geçmesi, herhangi bir agent yığınında aynı modeller, aynı görev kümesi ve aynı puanlamayla doğrudan test edilebilecek bir iddia. Orkestrasyon stratejilerini değerlendiren ekipler, yayımlanan iş akışını kendi temel çizgileriyle karşılaştırabilir; harness'ı bir makaleden yeniden kurmaları gerekmez.

Haberleştirmenin ortaya koymadığı şeyler ise Fable 5'e karşı fark, bildirilen sonucun arkasındaki deneme sayısı ve beş modelin nasıl koordine edilip birleştirildiği. Bu ayrıntılar, iş akışı genel bir tarif olarak ele alınmadan önce önem taşıyor ve kontrol edilecek yer örnek depo. Stüdyonun tutumu, iddianın tekrarlanmadan önce yeniden üretilmeye değer olduğu yönünde.

Konuşalım!