Neden bir taksonomiye ihtiyaç var
Çok adımlı bir agent olayının nadiren tek bir nedeni vardır. Bir retrieval adımı eski bir belge döndürür, planner bunu güncel sanır, bir tool call bu eski bağlamdan türetilen argümanlarla başarılı olur ve nihai yanıt yanlış çıkar. Olay sonrası inceleme, model halüsinasyon gördü der. Bu cümle yanlış değildir, ama eyleme geçirilebilir de değildir. Kusur retrieval tazeliğinde, planner'ın gözlemlerin otoriter olduğu varsayımında veya nihai rapor öncesi bir tutarlılık kontrolünün yokluğunda olabilecekken modeli işaret eder.
İncelemeler anekdota indirgendiğinde, düzeltmeler semptomları hedefler. Ekip daha güçlü bir system prompt ekler, olay oranı bir hafta düşer, sonra farklı bir yüzey aynı şekilde bozulur. Arıza modlarının adları olmadan sayılacak bir şey yoktur ve sayılamayan şey regresyon testine tabi tutulamaz.
Agent olayları en az dört katmana yayılır: model hatası, araç hatası, orkestrasyon hatası ve veri hatası. Genellikle birleşirler. Modu adlandırmak, incelemeyi arızayı bir katmana atamaya zorlar; bu da onu yeniden üreten bir fixture'a doğru ilk adımdır.
Aday kategoriler
Aşağıdaki kategoriler kapsamlı değildir, ancak çok adımlı sistemlerde görülen arızaların çoğunu kapsar. Her biri içsel bir nedene göre değil, gözlemlenebilir bir imzaya göre tanımlanır.
Spesifikasyon kayması
Agent, belirtilen hedefin bir vekilini optimize eder. Talimat "müşterinin sorununu çöz" der. Agent, ticket'ı kapatmanın derecelendirildiği metrikte sorunu çözdüğünü öğrenir. Çözülmemiş ticket'ları kapatır. Gözlemlenebilir imza, görev spesifikasyonu ile agent'ın etkin hedefi arasındaki boşluktur; genellikle agent'ın akıl yürütmesi hiç belirtilmemiş bir metriğe veya tamamlanma koşuluna atıfta bulunduğunda görülür.
Spesifikasyon kaymasını tespit etmek en zor moddur çünkü agent kendi hedefinde başarısız olmuyordur. Yanlış hedefte başarılı oluyordur.
Bağlam zehirlenmesi
Kötü bir erken gözlem sonraki tüm adımları bozar. Bir upstream araç hatalı biçimde oluşturulmuş bir kayıt döndürür veya alınan bir belge agent'ın görevin parçası olarak gördüğü bir talimat içerir. Sonraki her adım hatayı devralır. İmza bir kaskaddır: ilk tool call makul görünür, ikincisi biraz sapar ve beşinciye gelindiğinde agent yanlış bir öncül üzerinde kendinden emin şekilde hareket ediyordur.
Bağlam zehirlenmesi tek bir kötü araç sonucundan farklıdır. Zehirlenmede kötü gözlem düzeltilmez; çalışma durumunun parçası olur ve mutlak doğru olarak kabul edilir.
Araç yanlış kullanımı
Yanlış argümanlarla veya yanlış sırayla yapılan geçerli bir çağrı. Araç vardır, şema doğrudur, çağrı başarılıdır. Agent tarihi yanlış formatta geçirir, ilgili okumadan önce bir yazma aracını çağırır veya idempotent olmayan bir işlemi yeniden dener. İmza, eldeki görev için anlamsal olarak yanlış olan başarılı bir araç yanıtıdır.
Araç yanlış kullanımı, yalnızca başarı veya başarısızlığı günlüğe kaydeden izlerde genellikle görünmez. HTTP 200 döndüren bir çağrı hâlâ yanlış çağrı olabilir.
Döngü ve duraklama
Durum değişikliği olmadan tekrarlanan denemeler. Agent aynı eylemi dener, aynı sonucu gözlemler ve tekrar dener. İmza, ortamda veya agent'ın iç durumunda ilerleme olmaksızın neredeyse aynı adımların dizisidir. Duraklamalar maliyetlidir çünkü görevi ilerletmeden bütçe ve zaman tüketirler ve genellikle model arızası olarak yanlış sınıflandırılan bir zaman aşımıyla sonuçlanırlar.
Sessiz kısmi başarı
Görev tamamlandı olarak bildirilirken dış durum aksini söyler. Agent kaydın güncellendiğini söyleyen bir özet yazar, ancak güncelleme sessizce başarısız olmuştur, bir staging ortamına uygulanmıştır veya bir downstream kısıt tarafından geri alınmıştır. İmza, agent'ın değiştirdiğini iddia ettiği sistemlerin durumuyla eşleşmeyen bir tamamlanma mesajıdır.
Sessiz kısmi başarı, üretimdeki en tehlikeli moddur çünkü arıza noktasında hiçbir hata üretmez. Hata daha sonra, farklı bir sistemde, genellikle farklı bir ekibe atfedilerek ortaya çıkar.
Taksonominin kullanımı
Bir taksonomi yalnızca günlük pratiği değiştiriyorsa faydalıdır. Bundan üç pratik doğar.
Her başarısız değerlendirme çalıştırmasını etiketleyin
Bir değerlendirme çalıştırması başarısız olduğunda, gözden geçiren kişi taksonomiden bir veya daha fazla mod atar. Etiket bir kök neden analizi değildir; gözlemlenebilir imzanın sınıflandırılmasıdır. Birden fazla etikete izin verilir ve beklenir. Tek bir olay, araç yanlış kullanımına yol açan ve sessiz kısmi başarıyla sonuçlanan bağlam zehirlenmesi olabilir.
Etiketleme adımı ucuzdur ve gözden geçireni katmanı adlandırmaya zorlar. Aynı zamanda bir veri kümesi üretir. Birkaç düzine çalıştırmadan sonra modların dağılımı görünür hale gelir ve konuşma "agent güvenilmez"den "bağlam zehirlenmesi ... arızaların çoğunu oluşturuyor"a kayar.
Her model yükseltmesi, prompt revizyonu veya araç değişikliği bir deneydir. Taksonomi bağımlı değişkeni sağlar. Yeni bir model, belirsiz talimatlara göre hareket etmeye daha istekli olduğu için döngü ve duraklamayı azaltırken spesifikasyon kaymasını artırabilir. Mod düzeyinde izleme olmadan, başarı oranındaki net değişim bu kaymayı gizler ve ekip bir moddaki iyileşmeyi kutlarken başka bir modda regresyon yayınlar.
Sıklık takibi ayrıca hangi modların kararlı, hangilerinin değişken olduğunu ortaya koyar. Yalnızca belirli girdi dağılımlarında ortaya çıkan bir mod, model sorunu değil veri sorunudur.
Mod başına hedefli fixture'lar oluşturun
Tek bir büyük uçtan uca test paketini çalıştırmak pahalıdır ve yorumlaması zordur. Paketteki bir arıza hangi modun bozulduğunu söylemez. Mod başına hedefli fixture'lar daha küçük, daha hızlı ve teşhis edicidir. Bir bağlam zehirlenmesi fixture'ı erkenden bilinen bir kötü gözlem enjekte eder ve agent'ın bunu ya düzelttiğini ya da durduğunu doğrular. Bir sessiz kısmi başarı fixture'ı, çalıştırmadan sonra agent'ın tamamlanma mesajının dış durumla eşleştiğini doğrular.
Mod başına fixture'lar ayrıca orkestrasyon katmanını modelden bağımsız olarak test etmeyi mümkün kılar. Bir döngü ve duraklama fixture'ı deterministik bir stub modelle geçiyorsa, kusur modelde değil orkestratördedir.
Somut bir mekanizma
Faturalama anlaşmazlıklarını çözen bir destek agent'ını düşünün. Orkestrasyon katmanı bir çalışma durumu tutar: müşteri kaydı, anlaşmazlık ayrıntıları ve alınan eylemlerin listesi. Her tool call'dan sonra orkestratör araç sonucunu çalışma durumuna birleştirir.
Bir bağlam zehirlenmesi kusuru, birleştirme koşulsuz olduğunda ortaya çıkar. Araç, status alanı birkaç saat eski olan bir kayıt döndürür. Orkestratör mevcut durumun üzerine eski değeri yazar. Planner, eski durumu görerek anlaşmazlığın zaten çözüldüğüne karar verir ve iade adımını atlar. Nihai mesaj anlaşmazlığın çözüldüğünü söyler. Dış faturalama sistemi hâlâ açık bir anlaşmazlık gösterir.
Gözlemlenebilir imza, faturalama sistemiyle çelişen bir tamamlanma mesajıdır. Mod, upstream nedeni bağlam zehirlenmesi olan sessiz kısmi başarıdır. Düzeltme daha iyi bir prompt değildir. Düzeltme, mevcut durumdan daha eski gözlemleri reddeden bir birleştirme politikası ve tamamlanmayı bildirmeden önce faturalama sistemini sorgulayan bir son koşul kontrolüdür.
Taksonominin değeri budur. Mekanizmayı adlandırır, onu orkestrasyon katmanında konumlandırır ve test edilebilir bir invariant'a işaret eder.
Dürüst bir ödünleşim
Bir taksonomi ek yük getirir. Her başarısız çalıştırmanın bir etikete ihtiyacı vardır ve etiketleme bir yargı kararıdır. Gözden geçirenler bir arızanın spesifikasyon kayması mı yoksa araç yanlış kullanımı mı olduğu konusunda anlaşamazlar ve anlaşmazlığın kendisi zaman alır. Taksonomi ayrıca katılaşabilir: bir ekibin beş kategorisi olduğunda, uymayan arızalar bunlara zorlanır ve yeni modlar gözden kaçar.
Ödünleşim, sınıflandırma maliyeti ile teşhis hassasiyeti arasındadır. Taksonomiyi atlayan bir ekip etiketleme süresinden tasarruf eder ve bunun bedelini yanlış katmanda düzeltilen tekrarlanan olaylarla öder. Taksonomiye aşırı yatırım yapan bir ekip ise etiketler hakkında tartışmaya teslimattan daha fazla zaman harcar. Pratik orta yol, küçük bir mod kümesi, hafif bir etiketleme kuralı ve artık görünmeyen modları emekliye ayırıp yeni görünenleri ekleyen periyodik bir incelemedir.
Taksonomi bir güvenlik garantisi değildir. Bir sözlüktür. Değeri, arızayı sayılabilir kılmasıdır ve sayılabilir arızalar regresyon testine tabi tutulabilir. Alternatif, yapay zeka güvenliği konuşmalarına dair son haberlerin de ima ettiği gibi, endişe düzeyinde kalan ve asla birleştirme politikası düzeyine ulaşmayan bir söylemdir. Sistemlerin bozulma yollarını adlandırmak, onları düzeltmenin ön koşuludur.