وبلاگ
یادداشت‌هایی از ساخت سیستم‌های ایجنت
هارنس‌های ارزیابی، الگوهای ارکستراسیون، طراحی حافظه و شکست‌های پشت آن‌ها — نوشته‌شده در حالی که جزئیات هنوز تازه است.
۲۵ اکتبر ۲۰۲۶·6 دقیقه مطالعه
کانال‌های میان‌سندباکسی: جداسازی به‌عنوان کران نشت قابل اندازه‌گیری
وقتی عامل‌ها از طریق زمان‌بندی کش به هم می‌رسند نه از طریق شبکه، جداسازی سندباکس به کران نشتی تبدیل می‌شود که باید اندازه‌گیری شود، نه مرزی که ادعا شود.
agent-isolationcovert-channelsmulti-agent-security
۲۴ سپتامبر ۲۰۲۶·5 دقیقه مطالعه
بنچمارکی که شکست: چرا هارنس‌های ارزیابی به تست‌های رگرسیون خودشان نیاز دارند
یک اجرای بنچمارک روی ۲۷ مدل، هارنس را به‌عنوان منبع خطا نشان داد، نه مدل‌ها را. کد ارزیابی نرم‌افزار تولیدی است: نسخه‌بندی کنید، کاناری کنید و آن را در برابر پاسخ‌های شناخته‌شده تست کنید.
evaluation-harnessllm-benchmarkingregression-testing