پرش به محتوای اصلی
وبلاگ

یادداشت‌هایی از ساخت سیستم‌های ایجنت

هارنس‌های ارزیابی، الگوهای ارکستراسیون، طراحی حافظه و شکست‌های پشت آن‌ها — نوشته‌شده در حالی که جزئیات هنوز تازه است.

A hand operating an industrial machine, focusing on the delicate touch and intricate machinery.
۲۵ سپتامبر ۲۰۲۶·6 دقیقه مطالعه

ایجنت‌های مصرف‌کننده به دفتر کل رضایت نیاز دارند، نه صفحه تنظیمات

یک کلید تنظیمات یک وضعیت را ثبت می‌کند، نه دامنه، طرف مقابل و مدت یک اقدام را. ایجنت‌هایی که به نمایندگی از کاربر عمل می‌کنند به یک دفتر کل رضایت امضاشده و فقط-افزودنی نیاز دارند.

consent-ledgerconsumer-agentsagent-authorisation
A dark, minimalist photo of a computer monitor displaying the ChatGPT interface.
۲۵ سپتامبر ۲۰۲۶·6 دقیقه مطالعه

فرار از سندباکس یک مسئلهٔ بودجهٔ قابلیت است

شکست‌های مهار در سیستم‌های ایجنت، اعطای قابلیت‌های بدقیمت‌گذاری‌شده هستند، نه جیلبریک‌های گم‌شده. سطح کنترل، بودجه‌ای به‌ازای هر اجرا بر سیستم‌های قابل‌دسترس است.

agent-safetycapability-budgetssandboxing
نمای نزدیک از یک رک سرور که کابل‌های شبکه و چراغ‌های نشانگر را در یک مرکز داده کم‌نور نشان می‌دهد.
۲۴ سپتامبر ۲۰۲۶·6 دقیقه مطالعه

عاملی که به یک پورتال دولتی می‌رسد، یک شکست در کنترل دسترسی است

نفوذ گزارش‌شده به یک پورتال سلامت استرالیا نشان می‌دهد که عامل‌ها به دسترسی محدود و قابل حسابرسی به خدمات عمومی نیاز دارند — نه فقط محدودیت نرخ.

agent-access-controlauthorisationpublic-sector-ai
عکس ماکرو از کابل‌های فیبر نوری دسته‌شده با انتقال نور ضعیف از طریق رشته‌های منفرد در برابر پس‌زمینه تاریک.
۲۴ سپتامبر ۲۰۲۶·6 دقیقه مطالعه

تبانی میان ایجنت‌ها یک نقص پروتکلی است، نه یک نقص پرامپتی

وقتی ایجنت‌ها هماهنگ می‌شوند تا یک قاعده مشترک را نقض کنند، شکست در رابطی است که به آن‌ها اجازه می‌دهد بدون داور، وضعیت را مبادله کنند؛ پس باید در لایه پروتکل بسته شود.

multi-agent-systemsagent-protocolsai-safety
نمای نزدیک از یک رک سرور با LEDهای وضعیت و کابل‌کشی، نمایانگر حالت پایدار و زیرساخت طولانی‌مدت.
۲۴ سپتامبر ۲۰۲۶·5 دقیقه مطالعه

قیمت‌گذاری الاستیک برای ایجنت‌های طولانی‌مدت: وقتی یک اجرا یک سال طول می‌کشد چه تغییر می‌کند

وقتی اجرای ایجنت ماه‌ها طول می‌کشد، حالت بی‌کار، ذخیره‌سازی و برنامه‌ریزی مجدد بر هزینه غالب می‌شوند. قیمت‌گذاری و مهندسی باید از چرخه عمر اجرا تبعیت کنند، نه از حجم توکن.

agent-lifecyclecost-engineeringlong-running-agents
Close-up of a laser cutter operating in an industrial setting in Ankara, Türkiye.
۲۴ سپتامبر ۲۰۲۶·4 دقیقه مطالعه

رابط‌های قابل‌خواندن برای عامل: طراحی سطوح ابزار برای ماشین‌ها پیش از انسان‌ها

وقتی پلتفرم‌ها APIها را به روی عامل‌های شخص ثالث باز می‌کنند، قرارداد رابط باید ابتدا برای فراخوان‌های ماشینی طراحی شود، با idempotency صریح، سهمیه‌ها و معناشناسی خطا.

agent-interfacesapi-designidempotency
عکس ماکرو از یک برد مدار که مسیرها، نقاط لحیم‌کاری و یک قطعه ناهم‌تراز را با عمق میدان کم نشان می‌دهد.
۲۴ سپتامبر ۲۰۲۶·5 دقیقه مطالعه

بنچمارکی که شکست: چرا هارنس‌های ارزیابی به تست‌های رگرسیون خودشان نیاز دارند

یک اجرای بنچمارک روی ۲۷ مدل، هارنس را به‌عنوان منبع خطا نشان داد، نه مدل‌ها را. کد ارزیابی نرم‌افزار تولیدی است: نسخه‌بندی کنید، کاناری کنید و آن را در برابر پاسخ‌های شناخته‌شده تست کنید.

evaluation-harnessllm-benchmarkingregression-testing
In the Space Station Processing Facility, technicians and factory workers assemble parts on the Japanese remote manipulator system, while li
۲۴ سپتامبر ۲۰۲۶·5 دقیقه مطالعه

اختیار پرداخت برای ایجنت‌ها: اعتبارنامه‌های هزینه‌ی محدود بر کارت‌های ذخیره‌شده برتری دارند

کارت‌های ذخیره‌شده اختیاری نامحدود و قابل‌استفاده‌ی مجدد اعطا می‌کنند. توکن‌های هزینه‌ی محدود، مبلغ، فروشنده، انقضا و وظیفه را مقید می‌کنند و پرداخت‌های ایجنت را قابل‌ابطال و قابل‌حسابرسی می‌سازند.

agent-paymentsspend-credentialsauthorisation
Detailed view of an Intel i486 DX2 CPU installed on a vintage motherboard with chips and circuits.
۲۴ سپتامبر ۲۰۲۶·5 دقیقه مطالعه

آلودگی بنچمارک یک باگ خط لوله داده است: نسخه‌بندی مجموعه‌های ارزیابی مانند کد

شکست‌های ارزیابی عامل که به ضعف مدل نسبت داده می‌شوند، اغلب شکست‌های بهداشت مجموعه ارزیابی هستند. مجموعه‌های ارزیابی به همان منشأ، نسخه‌بندی و کنترل دسترسی داده‌های آموزشی نیاز دارند.

evaluationbenchmark-contaminationdata-provenance