Tahminleme farklı bir iş yüküdür
Çoğu ajan değerlendirmesi bir yanıtı nihai artefakt olarak ele alır. Bir soru gelir, model bir yanıt üretir ve kalite metnin kendisine göre yargılanır. Tahmin piyasaları bu varsayımı bozar. Ajan yalnızca bir inancı tanımlamaz; o inancı, bilinen bir tarihte harici bir olaya karşı sonuçlandırılacak bir pozisyona dönüştürür. Çıktı, tarihlenmiş, doğrulanabilir ve ajanın sonradan söylediği her şeyden bağımsız bir sonuç kazanır.
Bu, neyin saklanması gerektiğini değiştirir. Bir paragrafa eklenmiş güven skoru, modelin iç durumuna dair bir iddiadır. Bir sonuçla uzlaştırılamaz, çünkü skorun neye atıfta bulunduğuna, hangi kaynağa koşullandığına veya prompt'un hangi sürümünün onu ürettiğine dair bir kayıt yoktur. Olay sonuçlandığında, skoru karşılaştıracak skorun kendisinden başka bir şey yoktur. Bu iş yükünde hesap verebilirlik birimi bir yanıt değil, bir iddiadır: bir sonuçlandırma kuralı, bir kaynak kümesi ve bir zaman damgası olan tek bir önerme. Geri kalan her şey yorumdur.
Bir sonuçlandırma defteri neler içerir
Bir sonuçlandırma defteri, bir ajanın üzerinde işlem yaptığı her iddianın yalnızca ekleme yapılabilen kaydıdır. Her girdi en azından şunları taşımalıdır:
- İddia metni — doğru ya da yanlış olarak değerlendirilebilecek biçimde önerme; bir kaçamak ya da aralık değil.
- Sonuçlandırma kriterleri — iddiayı belirleyen kesin kural; erteleme, kısmi uzlaşma veya belirsiz ifade gibi uç durumlar dahil.
- Kaynak kümesi — ajanın kullandığı belirli referanslar, yazım anında sabitlenmiş.
- Zaman damgası — iddianın oluşturulduğu ve pozisyonun alındığı an.
- Model ve prompt sürümü — akıl yürütme yolunu yeniden üretmek için gereken tanımlayıcılar.
- Beyan edilen dağılım — ajanın kendi olasılığı, üzerinde işlem yaptığı piyasa fiyatından ayrı tutulur.
Kritik tasarım tercihi, sonuçlandırma kaynağının olay uzlaştığında değil, iddia yazıldığında sabitlenmesidir. Ajan oracle'ını sonradan seçebiliyorsa, defter bir anlatıya dönüşür. Kaynağın yazım anında sabitlenmesi, sonraki bir çalıştırmanın önceki bir pozisyonun temelini yeniden yazamayacağı anlamına gelir; kayıt değiştirilemez ve yalnızca ekleme yapılabilir olduğundan düzeltmeler düzenleme değil yeni girdilerdir.
Minimal bir şema mekanizmayı somutlaştırır:
{
"claim_id": "...",
"claim_text": "...",
"resolution_criteria": "...",
"resolution_source": "...",
"source_set": ["..."],
"written_at": "...",
"model_version": "...",
"prompt_version": "...",
"stated_distribution": 0.0,
"market_price_at_action": 0.0
}
Defter bir prompt günlüğü değildir. Bir sözleşmedir: her satır, iddiayı neyin doğru kılacağını ve bunun nerede gözlemleneceğini belirtir. O olmadan, ajanın çıktısı bir sayı olarak ifade edildiğinde bile pratikte yanlışlanamaz olur.
Kalibrasyon, defterin önce var olmasını gerektirir
Kalibrasyon sıklıkla aşırı özgüvenli ajanların çözümü olarak önerilir. Argüman şudur: beyan edilen olasılıklar sonuçlara göre puanlanırsa, sayılar bir anlam ifade edene kadar sistem ayarlanabilir. Bu argüman, defterin zaten var olduğunu varsayar. İddia bazlı kaynak belgelemesi olmadan puanlama, sistemi değil puanlayıcıyı ölçer: puanlayıcının kullanmayı seçtiği iddia tanımını ödüllendirir ve değerlendirilebilir biçimde hiç yazılmamış iddiaları sessizce düşürür.
Temel oranlar ve referans sınıfları defterde girdi olarak yer almalıdır, yeniden inşa olarak değil. Bir ajan bir iddianın bilinen tarihsel sıklığa sahip bir olay sınıfına benzediğini akıl yürütüyorsa, o sınıf yazım anında kaydedilmelidir. Uzlaşmadan sonra yeniden inşa etmek, sonradan görüşe davetiye çıkarır: sonuç bilindikten sonra sonuca en uygun görünen referans sınıfını bulmak kolaydır. Önceden kaydetmek analizi kısıtlar ve akıl yürütmeyi denetlenebilir kılar.
Ajanın beyan edilen dağılımını, üzerinde işlem yaptığı piyasa fiyatından ayrı tutmak da aynı derecede önemlidir. Bir pozisyon, inanç ve fiyatın ortak ürünüdür. İkisi depolamada birleştirilirse, kârlı bir sonucun daha iyi bir tahminden mi yoksa yanlış fiyatlanmış bir sözleşmenin karşı tarafını almaktan mı geldiğini söylemek imkânsız hale gelir. Ayrı alanlar bu ayrımı korur ve iki bileşenin bağımsız olarak değerlendirilmesini sağlar.
Ödünleşim gerçektir. Bir defter her eyleme gecikme ve depolama ekler ve ajanı, olayın nasıl geliştiğini görmeden önce sonuçlandırma kriterlerine bağlanmaya zorlar. Bu bağlanma zaten amaçtır, ancak esnekliği gerçekten azaltır: yazım anında gerçekten belirsiz olan iddialar ya keskinleştirilmeli ya da dışlanmalıdır, bu da kapsamı düşürür. Alternatif — sonradan puanlanan esnek iddialar — güvenilmesi imkânsız metrikler üretir. Kapsam, denetlenebilirliği
İddialar tek tek kaydedildiğinde, bir sohbet dökümünde görünmez olan birkaç başarısızlık modu görünür hale gelir.
Kriter kayması. Bir sonuçlandırma kuralı, yerleştirme ile uzlaşma arasında sessizce değişebilir. Yazıldığı haliyle iddia bir şey söylüyor olabilir; hatırlandığı haliyle başka bir şey. Bir dökümde kayma, uzun bir bağlam penceresine gömülür. Bir defterde, sabitlenmiş kriterler ve kaynak farkı açık kılar ve sonraki her yeniden yorumlama düzenleme değil yeni bir girdidir.
İlişkili iddialar. Bir sohbet günlüğü, iddiaları bağımsız turlar dizisi olarak sunar. Pratikte çoğu tek bir kaynağı, tek bir temel olayı veya tek bir varsayımı paylaşır. Tek bir makaleden türetilmiş on pozisyon alan bir ajanın on değil bir maruziyeti vardır. Defter bunu ortaya çıkarır çünkü kaynak kümesi iddia başına kaydedilir ve örtüşme sorgulanabilir hale gelir. O olmadan, görünen çeşitlendirme biçimlendirmenin bir artefaktıdır.
Sessiz yeniden denemeler. Ajan çerçeveleri başarısız çağrıları yeniden dener. Tekilleştirilmeyen bir yeniden deneme, tek bir niyetten iki pozisyon üretebilir ve inançta buna karşılık gelen bir değişiklik olmaksızın maruziyeti ikiye katlayabilir. Idempotent iddia tanımlayıcıları ve bir niyet hash'i içeren bir defter, yinelenen yerleştirmeyi tespit edilebilir kılar. Mekanizma basittir: iddia metnini, kriterleri ve kaynak kümesini hash'leyin ve tanımlı bir pencere içinde aynı hash'e sahip ikinci bir yazımı reddedin.
Bunlar egzotik uç durumlar değildir. Yeterince uzun süre çalışan her sistemin olağan davranışıdır ve tam da bir güven skorunun ortaya çıkaramayacağı davranışlardır.
Bunun ajan tasarımı için anlamı
Pratik sonuç şudur: sonuçlandırma altyapısı, tahmin kalitesi optimize edilmeden önce inşa edilmelidir. İyi kalibre edilmiş sayılar üreten ama iddia bazlı kaydı olmayan bir ajan değerlendirilemez, düzeltilemez veya büyük pozisyonlarla güvenilir olamaz. Mütevazı bir modele ve titiz bir deftere sahip bir ajan dürüstçe puanlanabilir ve hataları genel bir yetkinlik izlenimi yerine belirli iddialara kadar izlenebilir.
Tahmin piyasası araçlarına yönelik dış kapsam genişlemeye devam ediyor ve çevredeki tartışma sıklıkla model doğruluğuna odaklanıyor. Daha kalıcı soru, bir pozisyon alındığında neyin yazıya döküldüğüdür. Bir defter gösterişsizdir: bir şema, bir yazım yolu ve bir dizi kısıtlamadır. Aynı zamanda uzlaşmadan sağlam çıkan tek artefakttır.
Güven skorları, ajanın üretim anındaki durumunu tanımlar. Bir sonuçlandırma defteri, ajanın üstlendiği yükümlülüğü tanımlar. Bir piyasada işlem yapan her sistem için önemli olan ikincisidir.