Concierge deseni bir güvenlik ağı değil, bir yedek yoldur
Meta'nın Muse için bildirilen insan concierge'i, en iyi şekilde, agent'ın güven zarfı içinde çözemediği istekler için bir yedek yol olarak okunur; mimarinin üzerine eklenen bir güven özelliği olarak değil. Bu ayrım önemlidir çünkü neyi ölçtüğünüzü, kimi istihdam ettiğinizi ve ne vaat ettiğinizi değiştirir.
Concierge'in değeri soyut anlamda güvenlik değildir. Yetersiz tanımlanmış niyet için sınırlı bir kaçış kapısıdır. Agent, başarı kriterleri belirsiz olan bir istekle karşılaştığında, concierge bu belirsizliği emer ve ya çözer ya da netleştirilmiş bir talimat döndürür. Bu bir kapasite işlevidir. Kötü bir şey olmayacağının garantisi değildir.
Her yükseltme, agent gecikmesini insan kuyruk gecikmesiyle değiş tokuş eder. Agent'ın yanıt süresi milisaniyelerden saniyelere kadar ölçülür. Concierge'in yanıt süresi dakikalardan saatlere kadar ölçülür ve kuyruk derinliği, vardiya kapsamı ve isteğin karmaşıklığı tarafından yönetilir. Her ikisini de aynı birimlerde ölçmezseniz, kullanıcı deneyimi hakkında hiç akıl yürütemezsiniz. İsteklerin yüzde doksan beşini iki saniyenin altında, yüzde beşini kırk dakikada çözen bir sistem iki saniyelik bir sistem değildir. Bimodal bir sistemdir ve kuyruk üründür.
Yükseltme bir kuyruk problemidir
Concierge katmanı, sonlu sayıda sunucuya sahip bir hizmet kuyruğudur. Kadro büyüklüğünü belirleyen iki sayı, yükseltme oranı hedefi ve tolere edilebilir maksimum bekleme süresidir. Bunlar gözlem değil, politika kararlarıdır. Onları siz seçersiniz, sonra onlara göre kadro oluşturursunuz. Önce kadro oluşturup yükseltme oranını sonra keşfetmek, yedek katmanların darboğaza dönüşme şeklidir.
Agent'ın güven eşiği yukarı doğru kaydığında concierge kapasitesi doğrusal olmayan bir şekilde çöker. Agent hatalarını azaltmak amacıyla eşikte yapılan küçük bir artış, yükseltme hacmini ikiye veya üçe katlayabilir. Kuyruk sistemleri doygunluk yakınında zarif bir şekilde bozulmaz; kullanım bire yaklaşırken bekleme süreleri sınırsız büyür. Yüzde beş yükseltme oranı için boyutlandırılmış bir concierge ekibi, yüzde onda sadece yavaşlamaz. Başarısız olur ve bu başarısızlık kullanıcılar tarafından süresiz beklemeler olarak görülür.
Yükseltme oranını oturum başına değil, niyet sınıfı başına ölçün. Oturum düzeyindeki ortalamalar kuyruğu gizler. İade anlaşmazlıkları yüzde kırk oranında yükseltilirken şifre sıfırlamaları yüzde bir oranında yükseltiliyorsa, toplam sayı kapasite planlaması için anlamsızdır. Niyet sınıfı analiz birimidir çünkü iş birimidir. Aynı zamanda eğitim verisine, araç kapsamına ve politika istisnalarına eşlenen birimdir.
İnşa etmeye değer mekanizma, zaman içinde üç büyüklüğü izleyen niyet başına bir yükseltme panosudur: agent'a yönlendirilen isteklerin hacmi, yükseltilenlerin oranı ve o niyet için concierge işlem süresinin dağılımı. Bu üç sayı, eşikleri değiştirmeden önce farklı güven eşikleri altında kuyruk derinliğini tahmin etmenizi sağlar. Onlar olmadan, eşik ayarlama insan maliyeti olan bir tahmin oyunudur.
Yedek katman için tasarım kuralları
Agent, devrederken yapılandırılmış bir yükseltme kaydı üretmelidir. Kayıt, niyet sınıfını, agent'ın denediği araçları, yükseltme noktasındaki güven skorunu ve çözümü engelleyen spesifik belirsizliği içermelidir. Serbest metin özeti yeterli değildir. Belirsizlik alanı, kaydı aşağı yönde faydalı kılan şeydir çünkü başarısızlığı tanımlamak yerine eksik bilgiyi adlandırır.
Concierge eylemleri, agent'a yeni politika örnekleri olarak yeniden oynatılabilmelidir. Bir concierge bir isteği çözdüğünde, çözüm agent'ın yapması gerekenin etiketlenmiş bir örneğidir. Bu örnekler yapılandırılmış bir biçimde yakalanırsa, agent'ın politikasına few-shot örnekleri, fine-tuning verisi veya retrieval girdileri olarak geri beslenebilir. Bu döngüyü kapatır ve yükseltme oranının zaman içinde düşmesinin tek mekanizmasıdır. Bu olmadan, concierge geçici değil kalıcı bir maliyet merkezidir.
Yeniden oynatma mekanizmasının somut bir şekli vardır. Her yükseltme kaydı, concierge'in çözüm iziyle eşleştirilir: sorulan netleştirme sorusu, yapılan araç çağrıları ve nihai sonuç. Bu çift, söz konusu niyet sınıfı için bir eğitim örneği haline gelir. Agent'ın bir sonraki dağıtımı, o sınıf için yükseltme oranında ölçülebilir bir azalma göstermelidir, aksi halde örnek temsili değildi ve işaretlenmelidir.
Kullanıcı başına dönem başına yükseltme sayısını sınırlayın. Bu, yedeğin birincil yol haline gelmesini engeller. Bir kullanıcı süresiz olarak yükseltebiliyorsa, agent'ın çözme teşviki zayıflar ve concierge kuyruğu yukarı yönde ele alınması gereken talebi emer. Bir sınır, agent'ı çözümü denemeye zorlar ve ürün ekibini sürekli başarısız olan niyetlerle yüzleşmeye zorlar.
Dürüst ödünleşim, sınırların onlara ulaşan kullanıcılar için daha kötü bir deneyim yaratmasıdır. Sınırı aşan bir kullanıcı, yetersiz olduğunu bildiği bir agent yanıtı alır ve bir insana giden yolu yoktur. Bu tasarımın bu sonucu önleyen bir versiyonu yoktur. Seçim, az sayıda kullanıcı için sınırlı kötü bir deneyim ile herkes için sınırsız bir kuyruk arasındadır. Sınır daha küçük başarısızlıktır, ama yine de bir başarısızlıktır ve kaydedilmeli ve gözden geçirilmelidir.
Bu, değerlendirme için neyi değiştirir
Ortak sistemi, agent artı concierge'i, uçtan uca görev tamamlama üzerinden puanlayın. Yalnızca agent doğruluğu yanıltıcı bir metriktir çünkü yönlendirilen istekleri hariç tutar. Yüzde doksan agent doğruluğu ve yüzde on yükseltme oranı olan bir sistem yüzde doksan bir sistem değildir. Gerçek tamamlama oranı, yükseltilen niyetler için concierge'in çözüm oranına bağlı olan bir sistemdir.
İnsan müdahalesi gerektiren başarılı sonuçların oranını raporlayın. Bu, dürüst otomasyon oranıdır. Başarılı sonuçların yüzde altmışı bir concierge içeriyorsa, sistem otomatik değildir; agent ön uçlu, insan destekli bir sistemdir. Bu sayı gecikme ve maliyetle aynı panoda olmalı ve aynı ciddiyetle gözden geçirilmelidir.
Değerlendirme ayrıca sadece ortalamayı değil, uçtan uca gecikme dağılımını da raporlamalıdır. Üç saniyelik bir ortalama, kırk dakikalık kuyruğu olan bimodal bir dağılımı gizleyebilir. Yüzde doksan beş ve yüzde doksan dokuz yüzdelik dilim raporlaması minimumdur. Özellikle concierge katmanı için, bekleme süresi dağılımını agent'ın yanıt süresinden ayrı olarak raporlayın çünkü farklı mekanizmalar ve farklı kapasite kısıtları tarafından yönetilirler.
Kullanışlı bir değerlendirme koşum takımı, concierge'i yapılandırılabilir bir hizmet oranına sahip simüle edilmiş bir kuyruk olarak ele alır. Agent'ı bu koşum takımına karşı farklı yükseltme eşikleri altında çalıştırmak bir eğri üretir: uçtan uca tamamlama oranına ve kuyruk gecikmesine karşı yükseltme oranı. Bu eğri tasarım uzayıdır. Üzerinde bir nokta seçmek bir ürün kararıdır, ama bilinçli bir karar olmalıdır.
Çıkarım
Concierge, kadro sayısı eklenmiş bir gecikme bütçesidir. Yetersiz tanımlanmış niyet için sınırlı bir kaçış kapısı satın alır ve karşılığında kuyruk gecikmesi, personel ve kalıcı bir geri bildirim yükümlülüğü öder. Onu bir güvenlik katmanı olarak ele almak üçünü de gizler. Bir kuyruk olarak ele almak onları açık, ölçülebilir ve ayarlanabilir kılar. Bunu doğru yapan ekipler, yükseltmeyi niyet sınıfı başına ölçen, yeniden oynatma döngüsünü kapatan ve otomasyon oranlarını dürüstçe raporlayan ekipler olacaktır.