Human-in-the-loop'un sessiz bozulması
Human-in-the-loop sıklıkla bir güvenlik özelliği olarak tanımlanır. Pratikte bu bir yedek yoldur ve yedek yollar sessizce bozulur. Bozulma kendini nadiren bir hata olarak duyurur; artan latency, tutarsız kararlar ve çözülmemiş edge case'lerin büyüyen birikimi olarak ortaya çıkar. Mekanizma tüm kurulumlarda aynıdır: eskalasyon bir durum devri olmadan gerçekleşir, dolayısıyla operatör bağlamı bir transkriptten yeniden inşa etmek zorunda kalır. Yeniden inşa kayıplıdır. Operatör yerel olarak makul bir karar verir, talep ilerler ve altta yatan neden el değmemiş kalır.
Somut bir mekanizma sorunu örnekler. Bir agent'tan bir sevkiyat kaydını bir faturayla mutabık kılması istenir. Bir retrieval aracı çağırır, iki aday eşleşme alır ve bunları ayırt edemez. Transkript her iki adayı ve kullanıcıya yöneltilen son bir soruyu gösterir. Bu transkripti okuyan bir insan operatör adayları görür ama agent'ın içsel güvenini, retrieval skorlarını, araç parametrelerini veya otomatik seçimi engelleyen politika kuralını görmez. Operatör bir adayı seçer. Görev tamamlanır. Agent'ın hafızasında hiçbir şey değişmez, dolayısıyla aynı belirsizliği taşıyan bir sonraki sevkiyat aynı çıkmaza ulaşır. İnsan hatayı onarmak yerine soğurmuştur.
Bu ilk hata modudur: durum devri olmadan eskalasyon, yeniden inşayı zorunlu kılar. İkincisi, insanın düzeltmesinin bir politika veya hafıza güncellemesi olarak geri yazılmamasıdır, dolayısıyla aynı hata tekrarlanır. Üçüncüsü hacim baskısıdır. Eskalasyonlar operatörlerin inceleyebileceğinden daha hızlı geldiğinde, onaylamak en az dirençli yol haline gelir. Kaşe basmak gözetimi bir latency vergisine dönüştürür: kuruluş insan dikkatinin bedelini öder ama ek güvenlik elde etmez, çünkü insan artık kararı değerlendirmiyor, yalnızca temizliyordur.
Bir eskalasyon sözleşmesi
Bir eskalasyon sözleşmesinin üç parçası vardır: tetikleyici, payload ve dönüş. Her parça açık ve makine tarafından okunabilir olmalıdır, gelenekle ima edilmemelidir.
Tetikleyici
Tetikleyici, agent'ın ne zaman durup devredeceğini tanımlar. Kullanışlı sınıflar şunları içerir:
- Güven eşikleri: agent'ın bir sonraki eylemine ilişkin kalibre edilmiş güveni yapılandırılmış bir sınırın altına düşer.
- Araç hataları: bir araç, agent'ın retry bütçesi içinde çözemeyeceği bir hata, boş sonuç veya şema ihlali döndürür.
- Geri alınamaz eylemler: sonraki adım geri alınamayacak bir durum değişikliğini siler, yayınlar, transfer eder veya başka şekilde taahhüt eder.
- Politika redleri: bir guardrail bir eylemi engeller ve agent'ın izin verilen alternatif bir yolu yoktur.
Tetikleyiciler prompt metnine dağıtılmak yerine agent'ın araç tanımlarının yanında bildirilmelidir. Yalnızca bir prompt'ta var olan tetikleyici bir öneridir; kodda var olan tetikleyici bir sözleşmedir.
Payload
Payload, operatörün aldığı şeydir. Bir transkript payload değildir. Bir payload şunları içerir:
- Agent'ın anladığı haliyle hedef, orijinal talep ve hâlihazırda uygulanmış tüm açıklamalar dahil.
- Şimdiye kadarki plan: hangi adımlar yürütüldü, hangileri başarılı oldu, hangileri atlandı ve neden.
- Agent'ın değerlendirdiği aday eylemler, kullanacağı parametrelerle birlikte.
- Her aday için kanıt: retrieval skorları, araç çıktıları, politika atıfları ve eskalasyonu tetikleyen spesifik belirsizlik.
Bir payload için test, görevi hiç görmemiş bir operatörün başka bir sistem açmadan karar verip veremeyeceğidir. CRM'i sorgulamak, retrieval'ı yeniden çalıştırmak veya talepte bulunana ne demek istediğini sormak zorundaysa, payload eksiktir.
Dönüş
Dönüş, operatörün ne yapabileceğini ve kararın hangi artefaktı ürettiğini tanımlar. Üç sonuç çoğu durumu kapsar:
- Onayla: operatör agent'ın önerdiği eylemi doğrular. Artefakt, eylem parametrelerine ve kanıt anlık görüntüsüne bağlı imzalı bir onay kaydıdır.
- Değiştir: operatör eylemi, parametreleri veya hedefi değiştirir. Artefakt, agent'ın önerisi ile operatörün kararı arasındaki bir diff ve bir neden kodudur.
- İptal et: operatör görevi durdurur. Artefakt, bir neden koduyla birlikte terminal bir durum ve görevin yeniden planlanması mı yoksa talepte bulunana mı döndürülmesi gerektiğini belirten bir bayraktır.
Her sonuç kalıcı bir artefakt üretmelidir. Yalnızca bir kuyrukta tıklama olarak var olan bir onay kalıcı değildir; denetlenemez, yeniden oynatılamaz veya eğitim sinyali olarak kullanılamaz. Artefakt sözleşmenin çıktısıdır ve döngüyü öğrenilebilir kılan şeydir.
Döngüyü kapatmak
Bir eskalasyon sözleşmesinin değeri, daha iyi tekil kararlar üretmesi değildir. Veri üretmesidir. Her insan değişikliği, eval suite'inde bir regresyon testi adayıdır. Değişiklik, agent'ın yanlış yaptığı bir vakayı ve bir insanın onayladığı bir düzeltmeyi kodlar. Bu çift, tam olarak bir test vakasının şeklidir: girdi, beklenen eylem ve gerekçe.
Pipeline mekaniktir. Bir operatör bir eylemi değiştirdiğinde, diff ve neden kodu bir store'a yazılır. Bir inceleme adımı, seçilen değişiklikleri eval suite'ine terfi ettirir ve burada her değişiklikte mevcut agent'a karşı çalışırlar. Agent artık o girdi için operatörün değiştirdiği eylemi üretiyorsa, vaka geçer. R
Döngünün öğrenip öğrenmediği tam buradadır. Görev sınıfı başına eskalasyon oranını izleyin. Zaman içinde sabit bir oran, döngünün öğrenmediğini düşündürür: aynı sınıflar insanlara ulaşmaya devam eder ve düzeltmeler agent davranışını değiştirmiyordur. Bir sınıfta istikrarlı kaliteyle düşen bir oran, düzeltmelerin soğurulduğunu düşündürür. Yükselen bir oran, görev sınıfının kaydığını veya agent'ın kapsamının politikalarında buna karşılık gelen bir güncelleme olmadan genişlediğini düşündürür.
Aynı görev sınıfında tekrarlanan eskalasyon bir operatör sorunu değil, bir spesifikasyon kusurudur. Operatörler aynı belirsizliği düzeltmeye devam ediyorsa, agent'ın talimatları, araçları veya guardrail'leri eksik tanımlanmıştır. Doğru yanıt, daha fazla operatör eklemek veya kuyruğu sıkılaştırmak değil, spesifikasyonu değiştirmek ve ardından eval suite'ini yeniden çalıştırmaktır.
Dürüst ödünleşim
Bir eskalasyon sözleşmesi, herhangi bir şey kazandırmadan önce mühendislik zamanına mal olur. Tetikleyici, payload ve dönüş tasarlanmalı, enstrümante edilmeli ve bakımı yapılmalıdır. Özellikle payload pahalıdır: hedef, plan, adaylar ve kanıtı bir araya getirmek, agent'ın birçok framework'ün örtük tuttuğu içsel durumu açığa çıkarmasını gerektirir. Bu işi atlayan ekipler çalışan bir demo ve kırılgan bir üretim sistemi elde eder.
İkinci ödünleşim, katı bir sözleşmenin operatörün özgürlüğünü azaltmasıdır. Tüm sistemi görebilen bir operatör, bir sorunu sıklıkla sözleşmenin öngörmediği şekillerde çözebilir. Onları onayla, değiştir veya iptal et ile sınırlamak yapay gelebilir. Kısıtlama kasıtlıdır: kısıtlanmamış düzeltmeler kalıcı artefakt üretmez ve artefakt olmadan döngü öğrenemez. Sözleşme, kısa vadeli operatör esnekliğini uzun vadeli sistem iyileştirmesiyle değişir.
Üçüncü ödünleşim latency'dir. Eskalasyon, kritik yola bir insan gidiş-dönüşü ekler. Sözleşme bu latency'yi ortadan kaldırmaz; latency'yi hesap verebilir kılar. Bir regresyon testi üreten eskalasyon bir yatırımdır. Bir tıklama üreten eskalasyon bir maliyettir. Fark, dönüş yolunun tanımlı olup olmamasıdır.
Neyi enstrümante etmeli
Bir eskalasyon sözleşmesi için minimal enstrümantasyon seti:
- Görev sınıfı başına eskalasyon oranı, kayan bir pencereyle.
- Eskalasyon başına karar süresi, tetikleyici tipine göre segmentlenmiş.
- Operatöre ve görev sınıfına göre değiştirme oranı ile onaylama oranı.
- Değişikliklerden terfi ettirilen regresyon testleri ve bunların zaman içindeki geçme oranı.
- Tekrarlama oranı: hâlihazırda terfi ettirilmiş bir testle kapsanan bir görev sınıfındaki eskalasyonlar.
Tekrarlama oranı en keskin sinyaldir. Bir sınıfın terfi ettirilmiş bir regresyon testi varsa ve hâlâ eskalasyon yapıyorsa, ya test hatayı yakalamıyordur ya da agent düzeltmeyi kullanmıyordur. Her ikisi de mühendislik çözümleri olan mühendislik sorunlarıdır.
Sonuç
Bir insan konsiyerj pazarlanacak bir özellik değildir. Herhangi bir arayüz gibi mühendislikle ele alınması gereken bir yedek yoldur: tanımlı bir tetikleyici, eksiksiz bir payload ve kalıcı artefaktlar üreten bir dönüşle. Bu sözleşme olmadan eskalasyon bir latency vergisine dönüşür ve gözetim kaşe basmaya döner. Onunla birlikte, her insan müdahalesi eval suite'i için bir adaydır ve döngünün öğrenme şansı vardır. İyi bir eskalasyon yolunun ölçüsü ne sıklıkla kullanıldığı değil, aynı hata sınıfının ne sıklıkla iki kez buna ihtiyaç duyduğudur.