یادداشت‌هایی از ساخت سیستم‌های ایجنت
هارنس‌های ارزیابی، الگوهای ارکستراسیون، طراحی حافظه و شکست‌های پشت آن‌ها — نوشته‌شده در حالی که جزئیات هنوز تازه است.
اقتصاد واحد یک اجرای agent: حسابداری هزینه برای سیستم‌های چندمرحله‌ای
قیمت‌گذاری توکن پنهان می‌کند که هزینهٔ agent در واقع کجا می‌رود. هزینه به ازای هر وظیفهٔ موفق، که بر اساس نقش و tool call اندازه‌گیری می‌شود، همان عددی است که تیم‌ها می‌توانند بر اساس آن اقدام کنند.
ارزیابی ایجنت‌ها بر اساس مسیر، نه پاسخ: یادداشتی درباره طراحی بنچمارک
بنچمارک‌هایی که فقط خروجی نهایی را امتیاز می‌دهند، ایجنت‌هایی را پاداش می‌دهند که از مسیرهای ناایمن یا غیرقابل‌تکرار به پاسخ درست می‌رسند. ارزیابی مسیرمحور این مشکل را برطرف می‌کند.
الگوی رئیس‌دفتر: چه زمانی باید agentها را هماهنگ کرد و چه زمانی فقط باید یک اسکریپت نوشت
هماهنگ‌سازی چند-agent تنها زمانی به صرفه است که زیرکارها به context متفاوت، ابزارهای متفاوت یا راستی‌آزمایی مستقل نیاز داشته باشند. در غیر این صورت، این کار یک فراخوانی تابع کندتر است.
حافظه یک مسئله سیاست نوشتن است: نگهداشت، منشأ و هزینه به‌خاطر سپردن
بیشتر شکست‌های حافظهٔ عامل در زمان نوشتن ریشه دارند، نه در بازیابی. منشأ، طبقه‌های حساسیت و انقضای سطح اسکیما آن‌ها را زودتر و ارزان‌تر برطرف می‌کنند.
بودجه‌های اختیار: سطح کنترل گمشده میان یک عامل و ابزارهایش
محدودیت‌های پرامپت جنبهٔ توصیه‌ای دارند. ایمنی واقعی از آنجا می‌آید که هر قابلیت را به‌عنوان یک بودجهٔ اختیار قابل‌مصرف در نظر بگیریم: دامنه، سهمیه، انقضا و گواهی.
اعتبارنامه‌های agent یک مسئله سیاستی است، نه یک مسئله prompt
اعتبارنامه‌های بدون اختیار محدودشده، هر prompt injection را به privilege escalation تبدیل می‌کنند. اعطای capability را طراحی کنید، نه متن دستور را.