Ana içeriğe geç

Vercel Labs, bilgisayar kullanımı için agent-desktop harness'ını açık kaynak olarak yayımladı

Behzat AIcomputer-useagent-evaluationopen-sourcedesktop-agentsharness
İzleri, lehim bağlantılarını ve yüzeye monte bileşenleri gösteren bir devre kartının makro fotoğrafı.

Vercel Labs, labs programı kapsamında agent-desktop'ı açık kaynak olarak yayımladı. Proje, agent bilgisayar kullanımını hedefliyor ve dar, önceden bağlanmış bir arayüz üzerinden çalışmak yerine bir masaüstü ortamını doğrudan yönetiyor. Agent geliştiren veya değerlendiren ekipler için bu, bakımı yapılan bir harness'ı açığa çıkarıyor: model çıktısını tıklamalara, tuş vuruşlarına ve pencere durumuna dönüştüren katman artık okunabilir, fork'lanabilir ve test edilebilir.

Mikroçipleri ve bileşenleri gösteren bir elektronik devre kartının makro çekimi

Bunun pratik sonucu, eylem uzayının incelenebilir hale gelmesidir. Harness kapalıyken bir değerlendirme yalnızca agent'ın bir görevi tamamlayıp tamamlamadığını raporlayabilir; agent'ın seçtiği şey ile harness'ın izin verdiği şey arasındaki sınır gizli kalır. Harness açık olduğunda bu sınır numaralandırılabilir ve yoklanabilir, böylece sonuçlar etrafındaki iskelet yapıya değil modele atfedilebilir. Değerlendirme sorusu, agent'ın tıklayıp tıklayamayacağından yetenek zarfının neye izin verdiğine kayar — hangi eylemler erişilebilir, hangileri sessizce engelleniyor ve harness'ın kendisi sonucu nerede kısıtlıyor.

Haberin kapsamının ortaya koymadığı şey, sürümün kapsamıdır: desteklenen işletim sistemleri, modele sunulan gözlem formatı ve beraberinde herhangi bir benchmark sonucu olup olmadığı belirtilmemiş. Bu ayrıntılar, harness'ın bir gösterimden ziyade bir değerlendirme zemini olarak ne ölçüde yeniden kullanılabileceğini belirliyor. Stüdyonun okuması, açık ve bakımı yapılan bir masaüstü harness'ının karşılaştırılabilir bilgisayar kullanımı değerlendirmeleri için bir ön koşul olduğu ve faydalı bir sonraki adımın eylem uzayını doğrudan test etmek olduğu yönünde.

Konuşalım!