Açığı doğru okumak
Kurumsal AI raporlamasında tekrar eden bir örüntü, tahsis edilen koltuklar ile gerçekte tamamlanan oturumlar arasındaki geniş orandır. Manşet rakamı ankete göre değişir, ancak şekil sabittir: çok sayıda lisans, az sayıda bitirilmiş görev. İçgüdü bunu bir heves sorunu olarak okumaktır — kullanıcılara erişim verildi ve kullanmadılar. Bu okuma genellikle yanlıştır.
Koltuklar ile tamamlanan oturumlar arasındaki büyük oran, görev tasarımı hakkında bir sinyaldir. Bir agent, net bir tamamlanma koşulu olmayan bir iş akışına bağlandığında, oturum yüksek sesle başarısız olmaz. Duraksar. Kullanıcı aracı açar, makul görünen bir ara sonuç alır, işin bitip bitmediğini anlayamaz ve önceki yönteme döner. Lisans tüketilir. Hiçbir şey tamamlanmaz. Lisansları sayan metrik, satın almayı kaydeder, bir agent'ın herhangi bir şeyi bitirip bitirmediğini değil.
Açık, satıcılar ve model nesilleri arasında varlığını sürdürür. Bir ürün kalitesi sorunu olsaydı, modeller geliştikçe daralırdı. Orantılı olarak daralmadı. Bu istikrar yapısal bir nedene işaret eder: agent'a verilen iş birimi yanlış boyuttadır.
Devretmeden önce ayrıştır
Bir model seçmeden önce iş akışını ayrıştırın. Yararlı bölünme departmana veya araca göre değildir. Bir adımın doğrulanabilir bir tamamlanma koşulu olup olmadığına göredir.
Bir adımın doğrulanabilir tamamlanma koşulu vardır, eğer bir üçüncü taraf — bir script, bir gözden geçiren, bir şema kontrolü — çıktıya bakıp tamamlanıp tamamlanmadığı konusunda hemfikir olabiliyorsa. Örnekler: bu belgeden şu on iki alanı bu şemaya çıkar; bu ticket'ları bu taksonomiye göre sınıflandır; yalnızca bu korpustaki kaynaklara atıf yapan bir yanıt taslağı hazırla; bu iki listeyi uzlaştır ve uyuşmazlıkları işaretle. Bu adımlar bir agent'a devredilebilir, çünkü agent tüm iş üzerinden değil, adım üzerinden değerlendirilebilir.
Bir adımın doğrulanabilir tamamlanma koşulu yoktur, eğer bitmiş tanımı bir kişinin kafasında veya yazılı olmayan bir normda yaşıyorsa. Örnekler: bu sözleşmenin kabul edilebilir olup olmadığına karar ver; üç stratejiden hangisinin izleneceğini seç; bu müşterinin risk altında olup olmadığını değerlendir. Bu adımlar bir insan karar noktasına ihtiyaç duyar ya da kontrol edilebilir bir çıktıya sahip olana kadar daraltılmalıdır. "Bu sözleşmenin kabul edilebilir olup olmadığına karar ver", "standart şablondan farklı olan maddeleri çıkar ve işaretle" haline gelir — ki bu kontrol edilebilir — ardından bir insan kararı gelir.
Başarısız dağıtımların çoğu, bir agent'ı içindeki sınırlı bir adım yerine tüm bir iş akışına bağlar. Agent'tan bir süreci uçtan uca sahiplenmesi istenir. Sürecin tek bir tamamlanma koşulu olmadığı için, agent ne zaman duracağını bilemez, kullanıcı da bilemez. Oturum belirsizlik içinde sona erer, bu da kullanılmama olarak kaydedilir.
Somut bir mekanizma: sınırlı adım sözleşmesi
Bunu operasyonel hale getirmenin bir yolu sınırlı adım sözleşmesidir. Her aday adım için, herhangi bir model seçilmeden önce dört şeyi yazın:
- adımın tükettiği girdi, sabit bir şekilde;
- adımın ürettiği çıktı, sabit bir şekilde;
- çıktının kabul edilebilir olup olmadığını belirleyen kontrol;
- kontrol başarısız olduğunda yükseltme yolu.
Dördünden herhangi biri yazılamıyorsa, adım bir agent için hazır değildir. Bu kasıtlı olarak sıkıcıdır. Ayrıştırmanın bir pilot sırasında keşfedilmek yerine tasarım zamanında gerçekleşmesini zorlar.
Sözleşme ayrıca size enstrümante edecek bir şey verir. Çıktı şekli ve kontrol açık olduğu için, adımın yalnızca başarısız olduğunu değil, nerede başarısız olduğunu da kaydedebilirsiniz. Bu, hata ayıklayabileceğiniz bir dağıtım ile yalnızca terk edebileceğiniz bir dağıtım arasındaki farktır.
Düşüşü enstrümante etmek
Benimseme panoları tipik olarak bir oturumun başarıyla sona erip ermediğini kaydeder. Bu, mevcut en az yararlı
İkinci adımda terk edilen bir oturum, dokuzuncu adımda terk edilenden farklı bir sinyaldir. İkinci adımda terk etme genellikle adımın yanlış kapsamlandırıldığı anlamına gelir — girdi şekli gerçeklikle uyuşmadı ya da kontrolün karşılanması imkansızdı. Dokuzuncu adımda terk etme genellikle adımın doğru kapsamlandırıldığı ancak çevresindeki iş akışının hazır olmadığı anlamına gelir: çıktının gidecek bir yeri yoktu ya da aşağı akıştaki insan karar noktası kadrolanmamıştı.
Yörünge düzeyinde telemetri, bir benimseme istatistiğini bir tasarım girdisine dönüştürür. "Kullanıcılar aracı benimsedi mi" diye sormak yerine, "bu iş akışında hangi adım oturumları kaybediyor ve bu adımın oturumları kaybeden diğer adımlarla ortak nesi var" diye sorarsınız. İkinci sorunun tasarımı değiştiren bir yanıtı vardır. Birincinin yoktur.
Pratik bir örüntü, oturum sonunda adım indeksini o adımdaki kontrol sonucuyla birlikte kaydetmektir. Birkaç hafta içinde bu, iş akışı için adım başına bir düşüş eğrisi üretir. Yüksek düşüş ve başarısız kontrol içeren adımlar ayrıştırma hatalarıdır. Yüksek düşüş ve geçen kontrol içeren adımlar entegrasyon hatalarıdır. İkisi farklı düzeltmeler gerektirir ve bir başarı/başarısızlık bayrağı bunları ayırt edemez.
Rahatsız edici sonuç
Bazı iş akışlarında hiç agent olmamalıdır. Bunu söylemek, bir pilot daha yapmaktan daha ucuzdur. Bir çeyrek boyunca süren ve "kullanıcılar benimsemedi" sonucuna varan bir pilot, "bu iş akışında otomatikleştirmeye değer sınırlı adımlar yok" sonucuna varan bir tasarım incelemesiyle aynı maliyettedir — tek fark, tasarım incelemesi daha erken biter ve iş akışını sağlam bırakır.
Ödünleşim gerçektir ve açıkça belirtilmeye değer. Ayrıştırma, herhangi bir değer teslim edilmeden önce zaman alır ve yanıtın hayır olduğu sonucuna varabilir. Satıcı liderliğindeki bir dağıtım erişimi hemen teslim eder ve soruyu erteler. İlerleme gösterme baskısı altındaki bir ekip için ikinci seçenek daha caziptir. Aynı zamanda kullanım açığını üreten seçenektir.
Satıcıların koltukları raporlama teşviki vardır, çünkü sattıkları şey koltuklardır. Alıcıların tamamlanan iş birimlerini raporlaması gerekir, çünkü tükettikleri şey tamamlanan iştir. Bu iki metrik ayrışacaktır ve bu ayrışma bir skandal değildir. Alıcı, satıcının metriğini kendisininmiş gibi benimsediğinde sorun haline gelen bir ölçüm uyuşmazlığıdır.
İzlenmesi gereken metrik, aynı sınırlı adım üzerindeki tekrarlı kullanımdır. İlk hafta girişleri merakı ölçer. Kontrol edilebilir bir çıktısı olan bir adım üzerindeki tekrarlı kullanım, adımın içinde bir agent varken gerçekten daha iyi olup olmadığını ölçer. Bir adım bir kez kullanılıp terk edilirse, ayrıştırma yanlıştı. Aynı kişiler tarafından tekrar tekrar kullanılırsa, adım doğru kapsamlandırılmıştır ve sözleşme tutuyor demektir.
Bu, agent'ları benimsemenin daha yavaş bir yoludur. Aynı zamanda daha iyi bir modele ihtiyaç duyan bir iş akışı ile farklı bir şekle ihtiyaç duyan bir iş akışı arasındaki farkı söylemenin tek yoludur.