پرش به محتوای اصلی

Vercel Labs هارنس agent-desktop را برای استفاده از کامپیوتر به‌صورت متن‌باز منتشر کرد

Behzat AIcomputer-useagent-evaluationopen-sourcedesktop-agentsharness
عکس ماکرو از یک برد مدار که مسیرها، نقاط لحیم‌کاری و قطعات نصب‌شده روی سطح را نشان می‌دهد.

Vercel Labs پروژه agent-desktop را تحت برنامه labs خود به‌صورت متن‌باز منتشر کرده است. این پروژه بر استفادهٔ agent از کامپیوتر تمرکز دارد و به‌جای کار از طریق یک رابط محدود و از پیش سیم‌کشی‌شده، محیط دسکتاپ را مستقیماً کنترل می‌کند. برای تیم‌هایی که agent می‌سازند یا ارزیابی می‌کنند، این یعنی یک هارنس نگهداری‌شده در دسترس عموم قرار گرفته است: همان لایه‌ای که خروجی مدل را به کلیک، فشردن کلید و وضعیت پنجره تبدیل می‌کند، اکنون قابل خواندن، fork کردن و آزمودن است.

نمای ماکرو از یک برد مدار الکترونیکی با ریزتراشه‌ها و قطعات

پیامد عملی این است که فضای عمل قابل بررسی می‌شود. وقتی هارنس بسته باشد، یک ارزیابی تنها می‌تواند گزارش دهد که agent وظیفه‌ای را انجام داده یا نداده است؛ مرز میان آنچه agent انتخاب کرده و آنچه هارنس اجازه داده، پنهان می‌ماند. با باز بودن هارنس، این مرز را می‌توان شمارش و کاوش کرد، تا نتایج به مدل نسبت داده شوند نه به داربستِ اطراف آن. پرسش ارزیابی از «آیا agent می‌تواند کلیک کند» به «آنچه پوشش توانایی‌اش اجازه می‌دهد» تغییر می‌کند — کدام کنش‌ها قابل دسترسی‌اند، کدام‌ها بی‌صدا مسدود می‌شوند، و کجا خود هارنس نتیجه را محدود می‌کند.

آنچه این پوشش مشخص نمی‌کند، دامنهٔ انتشار است: سیستم‌عامل‌های پشتیبانی‌شده، قالب مشاهده‌ای که به مدل ارائه می‌شود، و اینکه آیا نتایج benchmark همراه آن هست یا نه، همه بیان‌نشده باقی مانده‌اند. این جزئیات تعیین می‌کنند که هارنس تا چه حد می‌تواند به‌عنوان بستری برای ارزیابی و نه صرفاً یک نمایش، بازاستفاده شود. برداشت استودیو این است که یک هارنس دسکتاپ متن‌باز و نگهداری‌شده پیش‌شرط ارزیابی‌های قابل‌مقایسهٔ استفاده از کامپیوتر است، و گام بعدیِ مفید، آزمودن مستقیم فضای عمل است.

بیایید صحبت کنیم!