Dökümler neden başarısız olur
Makaleleri okuyan, veritabanlarını sorgulayan ve hipotezler taslak haline getiren bir co-scientist ajanı genellikle nihai yanıtının ne kadar ikna edici kulağa geldiğine göre değerlendirilir. Bu yanlış bir artefakttır. Sohbet kaydı üç farklı ifade türünü ayrım gözetmeksizin karıştırır: retrieval (bir kaynağın ne söylediği), inference (ajanın ne sonuca vardığı) ve spekülasyon (neyi tahmin ettiği). Bir hakem daha sonra "X bileşiğinin Y yolunu inhibe ettiği iddiasını hangi makale destekledi?" diye sorduğunda, döküm akıcı bir düzyazı paragrafı sunar ve izlenebilir hiçbir bağlantı vermez.
Bilimde tekrarlanabilirlik, hangi kaynağın hangi ifadeyi desteklediğini bilmeye bağlıdır. Bir döküm bunu sağlayamaz çünkü zamana göre sıralanmıştır, epistemik statüye göre değil. Saniyeler arayla üretilen iki cümle tamamen farklı kanıt temellerine dayanabilir ve metinde hiçbir şey bu sınırı işaretlemez. Sorun oturumlar boyunca katlanır: sonraki bir tur, önceki bir tahmini yerleşik bir gerçekmiş gibi sessizce yeniden kullanabilir; bu, düzyazıda görünmez ama yapılandırılmış bir kayıtta apaçık olan bir başarısızlık modudur.
Bu bir üslup şikâyeti değildir. Mimari bir şikâyettir. Ajanın çıktısı bir uzman tarafından denetlenecekse, çıktı denetimin mümkün olacağı biçimde şekillendirilmelidir.
İddia defteri
Alternatif, ajana mesaj üreticisi olarak değil iddia üreticisi olarak davranmaktır. Her sav, en azından şunları içeren bir kayıt olarak saklanır:
- kararlı bir tanımlayıcı;
- diğer iddialarla karşılaştırılabilecek kadar normalleştirilmiş iddia metni;
- onu destekleyen veya çürüten kanıt bağlantıları (DOI'ler, URL'ler, veritabanı satırları, veri kümesi sürümleri);
- çıplak bir sayı değil, belirtilmiş bir dayanağı olan bir güven değeri;
- onu üreten tool call, argümanlar ve ham yanıt özeti dâhil;
- onu yayan ajan veya alt-ajan ve türetildiği üst iddia;
- hakemin notuyla birlikte bir inceleme durumu (incelenmemiş, kabul edildi, reddedildi, daha fazla kanıt gerekli).
Minimal bir şema şöyle görünebilir:
{
"claim_id": "c-7f3a",
"text": "Compound X inhibits pathway Y in cell line Z",
"evidence": [
{"type": "doi", "value": "10.0000/example", "stance": "supports"},
{"type": "database_row", "value": "uniprot:P12345", "stance": "supports"}
],
"confidence": {"value": 0.62, "basis": "single in-vitro study, no replication"},
"provenance": {"tool": "literature_search", "args": {"query": "X Y Z"}, "response_hash": "sha256:..."},
"derived_from": ["c-1a2b"],
"review": {"state": "unreviewed", "note": null}
}
Önemli olan özellik belirli alanlar değil, sorumlulukların ayrılmasıdır. Kanıt, iddiaya eklenir; onu içeren mesaja değil. Güvenin, bir insanın itiraz edebileceği bir dayanağı vardır. Provenance, tool call düzeyinde kaydedilir; böylece bir iddia yeniden türetilebilir veya tekrarlanamaz olduğu gösterilebilir.
Defter, çelişkilerin nasıl ele alındığını da değiştirir. Bir sohbet kaydında, iki çatışan bulgu genellikle kaçamaklı bir paragrafta birleştirilir ya da biri daha sonra geldiği için düşürülür. Bir defterde her iki iddia da kalır. Çelişki birinci sınıf bir nesnedir: metni örtüşen ve kanıt tutumları karşıt olan iki iddia kaydı. Sistem çatışmayı yüzeye çıkarabilir, paylaşılan kanıtı işaretleyebilir ve ortalamasını alıp yok etmek yerine incelemeye yönlendirebilir. Ortalama almak bir karardır ve bunu her iki tarafı da görebilen bir kişi vermelidir.
İnsan incelemesi belirli iddialara bağlanır. Bir hakem c-7f3a'yı kabul ederken c-9d1e'yi reddedebilir ve defter kimin neye, hangi dayanakla karar verdiğini kaydeder. Bütün bir oturumu incelemek yönetilebilir değildir; atomik iddialardan oluşan bir kuyruğu incelemek yönetilebilirdir. Kuyruk güvene, çelişki durumuna veya belirli bir kayda kaç alt iddianın bağlı olduğuna göre sıralanabilir.
Pratikte mekanizma
Bu desen en kolay çok-ajanlı bir kurulumda görülür. Bir retrieval ajanı literatürü tarar ve kanıtlarla birlikte aday iddialar üretir. Bir extraction ajanı bunları defter şemasına normalleştirir. Bir critic ajanı çelişkileri ve güveni kanıtını aşan iddiaları arar. Bir synthesis ajanı yalnızca defterde zaten var olan iddia tanımlayıcılarına atıf yapabilir; düzyazıda yeni savlar getirmesine izin verilmez.
Bu son kısıt yük taşıyan kısıttır. Synthesis katmanı serbest metin yazabilirse, eninde sonunda hiçbir iddia kaydının desteklemediği bir cümle yazacaktır ve tüm yapı, fazladan adımlarla bir döküme geri çöker. Üretim anında tanımlayıcıyla atıf yapmayı zorunlu kılmak, kaydı denetlenebilir tutan şeydir.
Burada gerçek bir maliyet vardır. Yapılandırılmış üretim, serbest konuşmadan daha yavaş ve daha fazla token tüketir ve ajanın akıcılığını kısıtlar. Gerçekten faydalı bazı bağlamlar bir iddia şemasına sığmaz ve zorla sokmak gürültü üretir. Dürüst ödünleşim şudur: bir defter, keşif için bir dökümden kötü, doğrulama için bir dökümden iyidir. Pratik çözüm, keşfin karalama alanında gerçekleşmesine izin vermek ve yalnızca kayda geçen iddiaların yapılandır
İkinci bir ödünleşim granularity ile ilgilidir. Fazla kaba olursa, bir iddia bağımsız olarak incelenemeyen birkaç savı bir araya toplar. Fazla ince olursa, inceleme kuyruğu yönetilemez hale gelir. Evrensel bir ayar yoktur; doğru granularity, alt kullanıcı uzmanın neyi denetlemesi gerektiğine bağlıdır.
Alana uygunluk
Bu desen bilime özgü değildir. Bir ajanın çıktısının daha sonra bir uzman tarafından denetlendiği her yüksek riskli alana genellenir: klinik karar desteği, hukuki araştırma, finansal uyum, güvenlik analizi. Her durumda hakemin, ajanın neyi savunduğunu, neye dayandığını ve ne kadar güvendiğini bilmesi gerekir ve her durumda bir sohbet kaydı tam da bunları gizler.
Ortak gereklilik, ajanın çıktısının sonuçları olan bir insan yargısına girdi olmasıdır. Çıktı yalnızca bir taslak veya daha fazla düşünme için bir prompt olduğunda, bir döküm yeterlidir. Çıktı, birinin sorumlu tutulacağı bir kayıt olduğunda, yapılandırılmış, kaynaklandırılmış ve tek tek iddialar düzeyinde incelenebilir olması gerekir.
Önce ne inşa edilmeli
Minimum uygulanabilir sürüm bir iddia tablosu, bir kanıt tablosu ve bir inceleme durum makinesidir. Başlangıçta graph veritabanı gerekmez; yabancı anahtarlı ilişkisel bir şema yeterlidir. Daha zor iş yukarı akıştadır: ajanları düzyazı yerine iddia üretmeye zorlamak ve bir iddianın güveninin kanıtıyla desteklenmediğini tespit eden critic'i inşa etmek.
Faydalı bir erken test, tamamlanmış bir oturumu alıp yalnızca kayıttan, nihai yanıttaki her cümleyi hangi kaynağın desteklediğini yanıtlamaya çalışmaktır. Yanıt bir dökümse, test başarısız olur. Bir defter ise, soru bir sorgudur.
Sonuç
Co-scientist ajanları, çıktılarının denetlenip denetlenemeyeceğine göre yargılanır. Bir sohbet kaydı, önemli olan düzeyde denetlenemez çünkü retrieval'ı inference'tan ve spekülasyondan ayırmaz ve kanıtı iddialara değil mesajlara ekler. Bir iddia defteri bu ayrımı geri getirir, çelişkileri ortalamak yerine görünür kılar ve insan incelemesinin ihtiyaç duyan belirli savlara bağlanmasını sağlar. Maliyeti akıcılık ve hızdır. Bir uzmanın sonuçtan sorumlu tutulacağı her alan için doğru ödünleşim budur.