Blog

Agent sistemleri geliştirmekten notlar

Değerlendirme koşum takımları, orkestrasyon desenleri, bellek tasarımı ve arkalarındaki başarısızlıklar — detaylar hâlâ tazeyken yazıya döküldü.

Tüm yazılar llm-agents 40 agent-security 24 multi-agent-systems 17 evaluation 12 agent-architecture 10 agent-evaluation 10 agent-safety 10 authorisation 9 policy-enforcement 9 idempotency 8 llm-evaluation 8 provenance 8

Sığ alan derinliğinde bakır izleri, lehim bağlantıları ve küçük bir entegre devre gösteren bir devre kartının makro fotoğrafı.

22 Eki 2026·6 dk okuma

Eval Set'ler Çürür: Sadece Modeli Değil, Harness'ı da Sürümleyin

Testlerini ezberleyen kendi kendini geliştiren agent'lar bir pipeline kusurunu ortaya çıkarır: eval set'ler, kodla aynı yaşam döngüsü yükümlülüklerine sahip veri artefaktlarıdır.

eval-setsagent-evaluationml-pipeline

Karmaşık yolları ve bileşenleri gösteren bir devre kartının makro fotoğrafı, sürümlenmiş bağımlılıkları simgeliyor.

01 Eki 2026·4 dk okuma

Yargıç Bir Bileşendir: LLM-as-Judge Pipeline'larını Diğer Bağımlılıklar Gibi Sürümleyin

LLM-as-judge yalnızca yargıç modeli, prompt, rubrik ve decoding parametreleri sabitlendiğinde ve birinci sınıf bir artefakt olarak regresyon testine tabi tutulduğunda güvenilirdir.

llm-as-judgeevaluationversioning