یادداشت‌هایی از ساخت سیستم‌های ایجنت
هارنس‌های ارزیابی، الگوهای ارکستراسیون، طراحی حافظه و شکست‌های پشت آن‌ها — نوشته‌شده در حالی که جزئیات هنوز تازه است.
قاضی LLM یک وابستگی نسخه‌بندی‌شده است: کاهش هزینهٔ خطوط ارزیابی بدون از دست دادن قابلیت مقایسه
قاضی LLM ارزان‌تر تنها زمانی معتبر است که مانند هر وابستگی دیگری نسخه‌بندی، پین و آزمون رگرسیون شود؛ در غیر این صورت، صرفه‌جویی به بهای از دست رفتن قابلیت مقایسه میان اجراها پرداخت می‌شود.
مدل‌های شواهد و مدل‌های تصمیم، مصنوع‌های متفاوت‌اند
تصمیم‌گیری و داوری دو نقش طراحی جداگانه‌اند. وقتی یک مدل هر دو را انجام می‌دهد، ارزیابی‌ها نقاط کور کنشگر را به ارث می‌برند و دیگر قابل اعتماد نیستند.
ابزارگذاری تجزیه: چرا هزینه مسیر عامل یک معیار برنامه‌ریز است
هزینه اجرا به‌صورت مجموع توکن گزارش می‌شود، اما متغیر غالب این است که برنامه‌ریز چگونه کار را تجزیه کرده است. حسابداری گره‌های برنامه، بودجه‌بندی را به ورودی زمان‌بندی تبدیل می‌کند.
سطوح ابزار یک مسئله طراحی رابط است، نه یک مسئله پوشش
سوءاستفاده عامل از ابزار معمولاً از رابط شروع می‌شود: APIهای انسانی که در JSON پیچیده شده‌اند، شکست جزئی را پنهان می‌کنند و فاقد معناشناسی خطای نهایی هستند. طراحی سطوح ماشین‌محور این را برطرف می‌کند.
مسیریابی مدل پیش از آنکه یک مسئله بهینه‌سازی باشد، یک مسئله ارزیابی است
مسیریابی میان مدل‌ها تنها زمانی به صرفه است که روتر بر پایه نتایج در سطح وظیفه و تحت یک مجموعه ارزیابی ثابت سنجیده شود، نه فقط بر پایه هزینه به ازای هر توکن.
کانسیرج انسانی یک بودجه تأخیر است، نه یک لایه ایمنی
ارجاع به کانسیرج انسانی یک تصمیم ظرفیت و تأخیر است. آن را به‌عنوان یک مسئله صف‌بندی مدل کنید، نه یک ویژگی اعتماد که بعداً به سیستم پیچ شده باشد.
دستکاری میان ایجنت‌ها یک مسئله پروتکلی است
وقتی یک ایجنت می‌تواند با یک ادعای تأییدنشده برنامه ایجنت دیگر را تغییر دهد، نقص در پروتکل است، نه در مدل. برچسب‌های منشأ، تأیید مستقل و سقف بازادعا آن را مهار می‌کنند.
اقتصاد مدل‌های با وزن باز: چه چیزی تغییر می‌کند وقتی استنتاج یک قلم هزینه تحت مالکیت شماست
کاهش هزینه هر توکن، گلوگاه عامل را از انتخاب مدل به کیفیت ارکستراسیون و بهره‌وری سخت‌افزار منتقل می‌کند.