Açık, bir başarısızlık olmadan önce bir ölçüm artefaktıdır
Lisans bir satın alma olayında verilir. Kullanım bir entegrasyon olayında birikir. Bu iki saat farklı hızlarda çalışır ve farklı ekipler tarafından okunur; bu yüzden aralarındaki oran üç aylık bir değerlendirmede dramatik, bir platform retrospektifinde ise sıradan görünür. Bir kurum, tahsis edilen koltuklar ile bir işi tamamlayan oturumlar arasında büyük bir kat bildirdiğinde, sayı genellikle birbiriyle uyumsuz iki payda üzerinden hesaplanıyordur: koltuklar satın alma anında bir kez sayılırken, anlamlı oturumlar iş birimi başına, tool call başına, başarılı yazma başına sayılır.
İlk düzeltme, oranı bir duygu metriği olarak ele almayı bırakmaktır. Bu, çalışanların agent kullanmaya isteksiz olduğunun kanıtı değildir. Bu, bir oturum başlangıcından tamamlanmış bir göreve giden yolun, satın alma sürecinin hiç dokunmadığı bir sınırı aştığının kanıtıdır.
Benimseme panoları yanlış olayı ölçer
Agent kullanımına yönelik çoğu iç pano girişleri, haftalık aktif kullanıcıları ve mesaj sayılarını raporlar. Üçü de açılan, bir prompt kabul eden, bir tool call deneyen, bir şema hatası veya yetkilendirme reddi alan ve sonlanan bir oturum tarafından karşılanır. Kullanıcı giriş yapmıştır. Kullanıcı aktiftir. Kullanıcı bir mesaj göndermiştir. Görev tamamlanmamıştır.
Başarısızlık sessizce absorbe edildiği için pano sağlıklı bir benimseme gösterirken destek kuyruğu, hiçbir zaman bir sinyale dönüşmeyen yavaş bir şikâyet sızıntısı gösterir. Sorunu açığa çıkaracak toplu metrik — oturum başına ilk tool call başarısızlık oranı — neredeyse hiç enstrümante edilmez, çünkü benimseme ekibinin sahip olduğu katmanın altında yer alır.
Kullanışlı bir teşhis, oturumları aktiviteye göre değil terminal duruma göre saymaktır. Başarılı bir yazmadan sonra sonlanan oturumlar, salt okunur bir yanıttan sonra sonlanan oturumlar ve ilk başarısız tool call'da sonlanan oturumlar, üç farklı çözüme sahip üç farklı popülasyondur. Bunları tek bir aktif kullanıcı sayısında birleştirmek, önemli olan tek bilgiyi yok eder.
Açık dikeyler arasında sabittir, bu da yapıya işaret eder
Eksiklik bir eğitim açığı olsaydı, kullanıcı popülasyonunun sofistikasyonuna ve etkinleştirme programının kalitesine göre değişirdi. Pratikte eğrinin şekli finansal hizmetlerde, lojistikte, sağlık yönetiminde ve iç BT operasyonlarında benzerdir. Mutlak sayılar farklıdır; düşüş deseni değildir.
Bu istikrar, nedenin yapısal olduğuna dair mevcut en güçlü kanıttır. Dikeyler arasında değişen değişken kayıt sistemleridir, insanlar değil. Düşüşün aynı olduğu yerde, neden de muhtemelen aynıdır: agent ile bu sistemler arasındaki arayüz.
Bu, gerçek sistemler işin içine girdiğinde agent yeteneği ile agent faydasının keskin biçimde ayrıştığına dair daha geniş gözlemle tutarlıdır; bu nokta, https://quasa.io adresinde toplananlar gibi agent dağıtım ekonomisi üzerine uygulayıcı tartışmalarında defalarca dile getirilmiştir.
Oturumlar aslında nerede ölür
İç API'leri yansıtan araç şemaları
Bir araç yüzeyi mevcut servis uç noktaları açığa çıkarılarak üretildiğinde, model görevin şekli yerine organizasyonun şeklini miras alır. Tek bir iş eylemi — bir sevkiyatı yeniden rezerve etmek — bir müşteri servisine, bir sipariş servisine, bir envanter servisine ve bir fiyatlandırma servisine yapılan çağrı dizisine dönüşür; her birinin kendi tanımlayıcı kuralları ve bir durum geçişinin ne zaman yasal olduğuna dair kendi anlayışı vardır.
Modelden daha sonra uç nokta adlarından iş mantığını tersine mühendislikle çıkarması istenir. Bazen başarır. Başarısız olduğunda, başarısızlık akıl yürütmeye atfedilir, ancak gerçek neden ikinci çağrının ön koşulunun hiçbir yerde makine tarafından okunabilir biçimde ifade edilmemiş olmasıdır.
Eksik idempotency
Yeniden denenen bir çağrı, ancak alıcı sistem onu bir yeniden deneme olarak tanıyabiliyorsa güvenlidir. Yazma uç noktalarında idempotency anahtarı olmadığında, bir zaman aşımı çağıranı başarısız bir çağrı ile başarılı olup yanıtı kaybolmuş bir çağrı arasında ayrım yapamaz halde bırakır. Operatörler bunu hızla öğrenir ve otomatik yeniden denemeleri devre dışı bırakır. Agent daha sonra ilk geçici hatada takılır, çünkü kullanabileceği tek güvenli eylem durup bir insana sormaktır.
Bu bir tesisat kusurudur, model kusuru değil. Aynı zamanda hiç zaman aşımına uğramayan sandbox uç noktalarına karşı çalıştırılan değerlendirmelerde görünmezdir.
Temsil edilemeyen onayların arkasına kapatılmış yazma yolları
Okuma yolları genellikle açıktır, çünkü okuma düşük risklidir ve erişim modeli basittir. Yazma yolları kapatılmıştır ve kapı tipik olarak bir bilet sisteminde, bir sohbet dizisinde veya bir politika belgesinde ifade edilen bir insan onayıdır. Bunların hiçbirinde neyin, hangi koşullar altında ve hangi son kullanma tarihiyle onaylandığına dair makine tarafından okunabilir bir temsil yoktur.
Bu nedenle agent önerebilir ama eyleme geçemez ve önerinin yapılandırılmış bir hedefi yoktur. Bir insanın okuyup elle yeniden girdiği bir kuyruğa düşer; bu da bir otomasyonu fazladan adımları olan bir bildirim sistemine dönüştürür.
İkinci hafta için tasarlamak
Herhangi bir agent dağıtımının ilk haftasına yenilik ve en kolay görevler hâkimdir. Sonucu ikinci haftada entegrasyon yüzeyi belirler. Üç prat
Bir oturumdaki ilk tool call'ın başarısızlık oranını birincil benimseme metriği olarak ele alın. Bu, entegrasyon yüzeyinin agent'ı reddedebileceği en erken noktadır ve oturumun devam edip etmemesiyle en çok ilişkili olan noktadır. Araç adını, doğrulama hatasını, yetkilendirme kararını ve geçen süreyi kaydedin. Kullanıcıya göre değil araca göre toplayın, çünkü çözüm neredeyse her zaman bir eğitim müdahalesi değil bir şema değişikliğidir.
Açık sözleşmelerle tipli bir araç yüzeyi yayımlayın
Bir araç tanımı, ön koşullarını, yan etkilerini ve başarısızlık modlarını bir modelin tüketebileceği ve bir gözden geçirenin denetleyebileceği bir biçimde belirtmelidir. Somut olarak, bir yazma aracı şunları bildirmelidir:
- gerektirdiği tanımlayıcılar ve bunların nereden geldiği;
- gerçekleştirdiği durum geçişleri;
- idempotent olup olmadığı ve öyleyse hangi anahtar altında;
- döndürebileceği hata sınıfları ve bunlardan hangilerinin yeniden denenebilir olduğu;
- işleme bağlı onay semantiği, varsa.
Bu yüzeyi diğer herhangi bir bağımlılık gibi sürümleyin. Bir araç şeması, tüketicileri insan olmayan bir arayüzdür ve bir sürüm sınırı olmadan değişirse onları sessizce bozar.
Yazmalara bir öneri durumu verin
Agent'a onay yetkisi vermek ya da onu tamamen reddetmek yerine, bir yazmayı iki fazlı bir işlem olarak modelleyin. Agent bir öneri üretir: amaçlanan geçişi, dayandığı kanıtı ve bir son kullanma tarihini içeren tipli, imzalı bir nesne. Bir politika motoru veya bir insan öneriyi onaylar ve ayrı bir yürütücü onu uygular.
Bu, agent'a niyeti için makine tarafından okunabilir bir hedef verir ve organizasyona politika bağlamak için bir yer sağlar. Ödünleşim gerçektir: bir öneri durumu her yazmaya gecikme ekler ve yürütücünün gerçekten idempotent olmasını gerektirir, çünkü öneri ile yürütme arasındaki boşluk, yinelenen gönderimlerin ortaya çıktığı yerdir. Gecikmeyi korumak için bu adımı atlayan ekipler genellikle kaldırmaya çalıştıkları insan kuyruğunu yeniden devreye sokar.
Yapmayı bırakmanız gerekenler
Bir tesisat sorununu çözmek için koltuk satın almayı bırakın. Ek lisanslar ilk başarısız tool call'da sonlanan oturumların sayısını artırır; tamamlananların sayısını artırmaz. Entegrasyon yüzeyi bağlayıcı kısıt olduğunda bir koltuğun marjinal getirisi sıfıra yakındır.
Hiç tamamlanmayan görevlerde tasarruf edilen saatleri ölçmeyi bırakın. Agent'ın bitiremediği bir göreve karşı hesaplanan bir zaman tasarrufu tahmini bir öngörü değil, tahmin yönteminin bir artefaktıdır. Önce tamamlanmayı ölçün; zaman rakamı ancak buna bağlı olarak anlamlıdır.
Agent framework'ünü entegrasyon katmanı olarak ele almayı bırakın. Framework çağırandır. Bir aracı ne zaman çağıracağına ve sonucu nasıl yorumlayacağına karar verir. Adaptör değildir ve yürütmesi istenen iş mantığını ifade etmeyen bir araç yüzeyini telafi edemez. Adaptörler, sözleşmeler ve idempotency, kayıt sistemlerine ve onlara sahip olan platform ekibine aittir.
Lisanslar ile kullanım arasındaki açık, araç yüzeyi sonradan akla gelen bir şey olmaktan çıktığında kapanır. Bu iş gösterişsizdir, sürümlenir ve asıl ürün odur.