وبلاگ
یادداشت‌هایی از ساخت سیستم‌های ایجنت
هارنس‌های ارزیابی، الگوهای ارکستراسیون، طراحی حافظه و شکست‌های پشت آن‌ها — نوشته‌شده در حالی که جزئیات هنوز تازه است.
۲۲ اکتبر ۲۰۲۶·5 دقیقه مطالعه
ردیابی غیرقطعی‌بودن: آنچه Concordance و DeepEval درباره ارزیابی عامل آشکار می‌کنند
تصمیم‌های ناسازگار عامل معمولاً مشکل ورودی گمشده است. ارزیابی باید زمینه کامل تصمیم را ثبت و بازپخش کند، نه اینکه خروجی‌ها را پس از وقوع امتیاز دهد.
agent-evaluationllm-observabilityreplay-testing
۲۰ سپتامبر ۲۰۲۶·6 دقیقه مطالعه
اقتصاد واحد یک اجرای agent: حسابداری هزینه برای سیستم‌های چندمرحله‌ای
قیمت‌گذاری توکن پنهان می‌کند که هزینهٔ agent در واقع کجا می‌رود. هزینه به ازای هر وظیفهٔ موفق، که بر اساس نقش و tool call اندازه‌گیری می‌شود، همان عددی است که تیم‌ها می‌توانند بر اساس آن اقدام کنند.
agent-economicscost-accountingllm-observability