ایجنتهای همدانشمند به دفتر ادعا نیاز دارند

چرا متن گفتگو شکست میخورد

یک ایجنت همدانشمند که مقالات را میخواند، پایگاههای داده را پرسوجو میکند و فرضیهها را پیشنویس میکند، اغلب بر اساس اینکه پاسخ نهاییاش چقدر متقاعدکننده به نظر میرسد ارزیابی میشود. این مصنوع اشتباهی است. گزارش گفتگو سه نوع متفاوت از گزاره را بدون تمایز با هم مخلوط میکند: بازیابی (آنچه یک منبع گفته)، استنتاج (آنچه ایجنت نتیجه گرفته) و گمانهزنی (آنچه حدس زده). وقتی بازبین بعداً میپرسد «کدام مقاله از ادعای اینکه ترکیب X مسیر Y را مهار میکند پشتیبانی کرد؟»، متن گفتگو پاراگرافی از نثر روان ارائه میدهد و هیچ پیوند قابل ردیابیای ندارد.

تکرارپذیری در علم به دانستن اینکه کدام منبع از کدام گزاره پشتیبانی کرده بستگی دارد. متن گفتگو نمیتواند این را فراهم کند چون بر اساس زمان مرتب شده، نه بر اساس وضعیت معرفتی. دو جمله که چند ثانیه با هم فاصله دارند ممکن است بر پایههای شواهدی کاملاً متفاوتی استوار باشند و هیچ چیزی در متن مرز را مشخص نمیکند. مشکل در طول جلسات انباشته میشود: یک نوبت بعدی ممکن است بیصدا از یک حدس قبلی به گونهای استفاده کند که گویی یک واقعیت تثبیتشده است، حالتی از شکست که در نثر نامرئی است اما در یک سابقه ساختاریافته آشکار.

این یک شکایت سبکی نیست. یک شکایت معماری است. اگر خروجی ایجنت قرار است توسط یک متخصص بررسی شود، خروجی باید به گونهای شکل بگیرد که بررسی ممکن باشد.

دفتر ادعا

جایگزین این است که با ایجنت به عنوان تولیدکننده ادعا رفتار کنیم، نه تولیدکننده پیام. هر گزاره به عنوان یک رکورد ذخیره میشود که حداقل شامل موارد زیر است:

یک شناسه پایدار؛
متن ادعا، به اندازه کافی نرمالشده تا با ادعاهای دیگر قابل مقایسه باشد؛
پیوندهای شواهد (DOI، URL، سطرهای پایگاه داده، نسخههای مجموعهداده) که از آن پشتیبانی یا آن را رد میکنند؛
یک مقدار اطمینان با مبنای اعلامشده، نه یک عدد خالی؛
فراخوانی ابزاری که آن را تولید کرده، شامل آرگومانها و چکیده پاسخ خام؛
ایجنت یا زیرایجنت منتشرکننده، و ادعای والد که از آن مشتق شده؛
وضعیت بازبینی (بازبینینشده، پذیرفتهشده، ردشده، نیازمند شواهد بیشتر) همراه با یادداشت بازبین.

یک اسکیمای حداقلی ممکن است اینگونه باشد:

Close-up of a professional video production control panel with buttons and slider for editing.

{
  "claim_id": "c-7f3a",
  "text": "Compound X inhibits pathway Y in cell line Z",
  "evidence": [
    {"type": "doi", "value": "10.0000/example", "stance": "supports"},
    {"type": "database_row", "value": "uniprot:P12345", "stance": "supports"}
  ],
  "confidence": {"value": 0.62, "basis": "single in-vitro study, no replication"},
  "provenance": {"tool": "literature_search", "args": {"query": "X Y Z"}, "response_hash": "sha256:..."},
  "derived_from": ["c-1a2b"],
  "review": {"state": "unreviewed", "note": null}
}

ویژگی مهم، فیلدهای خاص نیست بلکه تفکیک دغدغههاست. شواهد به ادعا پیوست میشوند، نه به پیامی که تصادفاً آن را در خود داشته. اطمینان مبنایی دارد که یک انسان میتواند با آن بحث کند. منشأ در سطح فراخوانی ابزار ثبت میشود، بنابراین یک ادعا میتواند دوباره مشتق شود یا نشان داده شود که تکرارناپذیر است.

دفتر همچنین نحوه برخورد با تناقضها را تغییر میدهد. در یک گزارش گفتگو، دو یافته متضاد تمایل دارند در یک پاراگراف محافظهکارانه با هم ترکیب شوند، یا یکی از آنها حذف میشود چون دیرتر رسیده. در یک دفتر، هر دو ادعا باقی میمانند. تناقض یک شیء درجهیک است: دو رکورد ادعا با متن همپوشان و مواضع متضاد. سیستم میتواند تعارض را آشکار کند، شواهد مشترک را علامتگذاری کند و آن را به بازبینی هدایت کند به جای اینکه آن را با میانگینگیری از بین ببرد. میانگینگیری یک تصمیم است و باید توسط فردی گرفته شود که هر دو طرف را میبیند.

بازبینی انسانی به ادعاهای مشخصی پیوست میشود. یک بازبین میتواند c-7f3a را بپذیرد و در همان حال c-9d1e را رد کند، و دفتر ثبت میکند چه کسی چه چیزی را و بر چه مبنایی تصمیم گرفته. بازبینی یک جلسه کامل عملی نیست؛ بازبینی صفی از ادعاهای اتمی عملی است. صف میتواند بر اساس اطمینان، وضعیت تناقض، یا تعداد ادعاهای پاییندستی که به یک رکورد مشخص وابستهاند مرتب شود.

سازوکار در عمل

این الگو در یک راهاندازی چندایجنت آسانتر دیده میشود. یک ایجنت بازیابی در ادبیات جستجو میکند و ادعاهای نامزد را همراه با شواهد منتشر میکند. یک ایجنت استخراج آنها را به اسکیمای دفتر نرمال میکند. یک ایجنت منتقد به دنبال تناقضها و ادعاهایی میگردد که اطمینانشان از شواهدشان فراتر رفته. یک ایجنت ترکیب فقط مجاز است شناسههای ادعایی را نقل کند که از قبل در دفتر وجود دارند؛ مجاز نیست گزارههای جدیدی را در نثر معرفی کند.

آن قید آخر، قید باربر است. اگر لایه ترکیب بتواند متن آزاد بنویسد، در نهایت جملهای خواهد نوشت که هیچ رکورد ادعایی از آن پشتیبانی نمیکند و کل ساختار به یک متن گفتگو با چند مرحله اضافه فرو میریزد. اعمال استناد-با-شناسه در زمان تولید چیزی است که سابقه را قابل بررسی نگه میدارد.

هزینهای واقعی در اینجا وجود دارد. انتشار ساختاریافته کندتر و پرمصرفتر از گفتگوی آزاد است و روانی ایجنت را محدود میکند. برخی زمینههای واقعاً مفید در اسکیمای ادعا جا نمیگیرند و اجبار آنها به داخل، نویز تولید میکند. معاوضه صادقانه این است که دفتر برای کاوش بدتر از متن گفتگو و برای راستیآزمایی بهتر از آن است. راهحل عملی این است که کاوش در فضای پیشنویس اتفاق بیفتد و فقط ادعاهایی که به سابقه راه مییابند

Modern industrial machine in operation in a manufacturing facility showcasing advanced technology.

معاوضه دوم مربوط به دانهبندی است. بیش از حد درشت، و یک ادعا چند گزاره را بستهبندی میکند که نمیتوانند مستقل بازبینی شوند. بیش از حد ریز، و صف بازبینی غیرقابل مدیریت میشود. تنظیم جهانی وجود ندارد؛ دانهبندی درست به آنچه متخصص پاییندستی نیاز دارد بررسی کند بستگی دارد.

تناسب دامنه

این الگو مختص علم نیست. به هر دامنه پرخطری تعمیم مییابد که در آن خروجی ایجنت بعداً توسط یک متخصص بررسی میشود: پشتیبانی تصمیم بالینی، پژوهش حقوقی، انطباق مالی، تحلیل ایمنی. در هر مورد بازبین باید بداند ایجنت چه ادعایی کرده، بر چه چیزی استوار بوده و چقدر مطمئن بوده، و در هر مورد یک گزارش گفتگو دقیقاً همین چیزها را پنهان میکند.

نیاز مشترک این است که خروجی ایجنت ورودی یک قضاوت انسانی است که پیامدهایی به همراه دارد. وقتی خروجی صرفاً یک پیشنویس یا محرکی برای تفکر بیشتر است، متن گفتگو کافی است. وقتی خروجی سابقهای است که کسی در قبال آن پاسخگو خواهد بود، باید در سطح ادعاهای فردی ساختاریافته، منبعدار و قابل بازبینی باشد.

اول چه چیزی بسازیم

حداقل نسخه قابل اجرا یک جدول ادعا، یک جدول شواهد و یک ماشین حالت بازبینی است. در ابتدا پایگاه داده گراف لازم نیست؛ یک اسکیمای رابطهای با کلیدهای خارجی کافی است. کار سختتر بالادست است: محدود کردن ایجنتها به انتشار ادعا به جای نثر، و ساختن منتقدی که تشخیص دهد وقتی اطمینان یک ادعا توسط شواهدش پشتیبانی نمیشود.

یک آزمون اولیه مفید این است که یک جلسه تمامشده را برداریم و تلاش کنیم فقط از روی سابقه پاسخ دهیم که کدام منبع از هر جمله در پاسخ نهایی پشتیبانی کرده. اگر پاسخ یک متن گفتگو باشد، آزمون شکست میخورد. اگر یک دفتر باشد، سؤال یک پرسوجو است.

نتیجهگیری

ایجنتهای همدانشمند بر اساس اینکه خروجیشان قابل بررسی باشد قضاوت میشوند. یک گزارش گفتگو در سطحی که اهمیت دارد قابل بررسی نیست، چون بازیابی را از استنتاج و از گمانهزنی تمایز نمیدهد و چون شواهد را به پیامها پیوست میکند نه به ادعاها. یک دفتر ادعا آن تمایز را بازمیگرداند، تناقضها را به جای میانگینگیری آشکار میکند و اجازه میدهد بازبینی انسانی به گزارههای مشخصی که به آن نیاز دارند پیوست شود. هزینهاش روانی و سرعت است. برای هر دامنهای که در آن یک متخصص بعداً در قبال نتیجه پاسخگو خواهد بود، این معاوضه درست است.

ایجنتهای همدانشمند به دفتر ادعا نیاز دارند، نه گزارش گفتگو