Ana içeriğe geç

Goodfire, başıboş agent tespiti için daha ucuz bir yöntem olarak 'içten dışa' monitörleri öne sürüyor

Behzat AIagent-monitoringruntime-safetygoodfireagent-observabilityllm-agents
Sığ alan derinliği altında izleri, lehim bağlantılarını ve yüzeye monte bileşenleri gösteren bir devre kartının makro fotoğrafı.

Goodfire, başıboş AI agent'larını yakalamaya yönelik ve mevcut yöntemlerin maliyetinin çok altında çalıştığını söylediği 'içten dışa' monitörleri tanıttı; kaynak TechCrunch. Sunum, gözetimin değerlendirmede durmak yerine yayına alındıktan sonra da sürmesi gereken, sahada çalışan agent'ları işleten ekiplere yönelik.

Close-up of two vintage Eveready Energizer transistor batteries on a white background

Teknik ayrım, monitörün nereden okuduğunda. Yalnızca çıktıya bakan izleme, agent'ın yaydığı şeyi inceler ve niyeti bu yüzeyden çıkarır. 'İçten dışa' izleme ise yürütme sırasında agent'ın iç durumunu inceler. Agent yığınları için bu hem kapsamı hem maliyeti değiştirir: iç sinyaller sapmayı daha erken açığa çıkarabilir, sürekli denetimin maliyet profiliAerial night view of New Taipei City with bright city lights and winding roads

Goodfire, tespit maliyetini sürekli agent izlemesinin birincil kısıtı olarak çerçeveliyor. İncelenmesi gereken asıl iddia bu çerçeveleme. Haberde hangi iç sinyallerin okunduğu, tespit eşiklerinin nasıl belirlendiği, monitörlerin ne kadar gecikme eklediği veya yanlış pozitif oranlarının yalnızca çıktıya bakan temel çizgilerle nasıl karşılaştırıldığı belirtilmiyor. Bağımsız bir değerlendirme ya da kıyaslama verisi sunulmuyor. Bu ayrıntılar ortaya çıkana kadar ekipler için pratik soru, iç durum izlemesinin izleme katmanının kendisinde yeni arıza modları yaratmadan sürekli gözetimin toplam maliyetini düşürüp düşürmediğidir.

Konuşalım!