وكلاء يطيعون ومع ذلك يسببون الضرر: بلاغ فيلادلفيا كفشل في المواصفات

ما تُظهره القضية فعلاً

يصف تقرير إخباري من فيلادلفيا نظامًا آليًا، أو مشغّلًا يعتمد على واحد، يمرر بلاغًا تبين أنه كاذب، وتقع العواقب على شخص حقيقي ومؤسسة حقيقية قبل أن يتمكن أي شخص من التحقق من الادعاء. تفاصيل الإسناد أقل أهمية من شكل الفشل. فعل الوكيل ما طُلب منه. جاء الضرر من إجراء لم تُحدد شروطه المسبقة قط: ما الأدلة المطلوبة قبل أن يغادر البلاغ المبنى، وكم عدد المصادر المستقلة التي أكدته، وهل يمكن للمتلقي التراجع عن أي شيء بمجرد وصوله.

هذه هي نفس فئة الفشل التي نراها في تقييمات استدعاء الأدوات كل أسبوع. كل استدعاء صالح وفق المخطط. يُحلّل JSON، وتطابق الوسائط الأنواع المعلنة، ويعيد النقل 200. النتيجة لا تزال خاطئة لأن الصلاحية ليست مطابقة للسياسة. يمكن أن يكون استدعاء الأداة صحيحًا في الشكل ومُبطلًا في السياق: رسالة أُرسلت إلى متلقي خاطئ، أو سجل حُدّث بناءً على حقل واحد غير مُتحقق منه، أو إشعار دُفع إلى طرف ثالث لا يمكنه أن ينسى ما رآه.

تأطير هذا كمشكلة هلوسة يستدعي إصلاحًا للنموذج لا يمكن أن ينجح. إذا اختلق النموذج تفصيلًا، يمكنك بشكل معقول طلب تأسيس أفضل. لكن في نمط فيلادلفيا ربما أبلغ النموذج بالضبط بما أُعطي له. كانت الفجوة في المنبع من التوليد: لم يقل شيء في النظام هذا الإجراء يتطلب مصدرين مستقلين قبل السماح به. لا مقدار من الـ prompting يسد فجوة لم تُكتب قط كمتطلب.

الأدوات ذات التبعات تحتاج إلى شروط مسبقة

التمييز المفيد ليس بين النماذج الجيدة والسيئة. إنه بين الأدوات التي تبقى داخل المؤسسة والأدوات التي تصل إلى طرف ثالث. استدعاء استرجاع على فهرس داخلي رخيص الخطأ. أما استدعاء يرسل بريدًا إلكترونيًا إلى جهة تنظيمية، أو يقدم تقريرًا، أو ينشر ادعاءً عن فرد مسمى، أو يرسل فريقًا ميدانيًا فليس كذلك.

بالنسبة لأي أداة في تلك الفئة الثانية، يجب أن يعلن الغلاف ثلاثة أشياء على الأقل.

• الأدلة المطلوبة. ما الحقول التي يجب أن تكون موجودة وغير فارغة قبل السماح بالاستدعاء، وما المصدر الذي يجب أن يحمله كل منها. البلاغ بمصدر واحد غير منظم ليس نفس الكائن الذي هو بلاغ بمصدر وطابع زمني وسجل مؤكد.
• عدد التأكيدات. كم عدد المصادر المستقلة التي يجب أن تتفق. الاستقلالية هي الجزء الصعب؛ حقلان منسوخان من نفس التغذية المنبعية هما مصدر واحد يرتدي قبعتين، ويجب أن يُشفّر المخطط رسم المصدر بحيث يُحسب العدد بدلًا من ادعائه.
• فئة القابلية للتراجع. ما إذا كان الإجراء يمكن التراجع عنه، ومن قبل من. إرسال مسودة داخلية قابل للتراجع. إرسال بلاغ إلى شريك خارجي ليس كذلك، لأن المتلقي قد قرأه بالفعل.

الإجراءات غير القابلة للتراجع والتي تؤثر على طرف ثالث تستدعي مسار موافقة منفصلًا بمسؤول بشري مسمى. ليس طابورًا عامًا، ولا صندوق بريد مشتركًا: دور محدد مسؤول يسجله سجل التدقيق في لحظة الموافقة. الموافقة شرط مسبق كأي شرط آخر، يُقيَّم بنفس الآلية.

فحص الشروط المسبقة ينتمي إلى غلاف الأداة، لا إلى الـ prompt. يقع الغلاف بين الاستدعاء المقترح من النموذج والأثر الجانبي. يستقبل الوسائط، ويستشير الشروط المسبقة المعلنة، ويقيّمها مقابل الحالة الحالية، ثم إما يسمح بالاستدعاء أو يعيد رفضًا منظمًا. ولأنه يعيش في الكود، فإنه ينجو من ترقيات النموذج وإعادة كتابة الـ prompts ووصول إطار عمل وكيل جديد. ولأنه يعيد رفضًا بدلًا من إعادة كتابة الطلب بصمت، يمكن إخبار النموذج بالسبب ويمكنه اختيار مسار مختلف، ويصبح الرفض نفسه سجلًا.

لماذا لا تستطيع الـ prompts حمل هذا

تتنافس التعليمات على السياق. الـ system prompt الذي يحمل سياسة تشغيلية إلى جانب تأطير المهمة وأوصاف الأدوات وقواعد التنسيق والمحادثة الحالية هو system prompt تكون فيه السياسة صوتًا واحدًا بين أصوات كثيرة. على المدى الطويل، لا يصبح ذلك الصوت أعلى؛ بل يبتعد أكثر. بحلول الدور العشرين، يكون التحذير المكتوب في أعلى السياق حقيقة قد يزنها النموذج أو لا يزنها، ولا توجد طريقة لمعرفة ذلك من الخارج.

شرط مسبق يُفحص في الكود ينتج رفضًا مع سبب. ذلك الرفض حدث منفصل بطابع زمني ومدخل ومعرّف قاعدة ونتيجة. يمكن عده وأخذ عينات منه وإعادة تشغيله. التحذير على مستوى الـ prompt لا ينتج شيئًا يمكنك فحصه بعد وقوع الأمر. إذا خرج بلاغ وتريد معرفة ما إذا كان النظام قد نظر في التأكيد، فالجواب مع الـ prompt هو طلبنا منه ذلك. الجواب مع الغلاف هو سطر في السجل.

هناك مقايضة صادقة هنا، وهي ليست صغيرة. الشروط المسبقة في الكود تضيف زمن استجابة واحتكاكًا. كل استدعاء ذي تبعات ينتظر الآن تقييمًا، وستُرفض نسبة منه وتحتاج إلى إنسان للنظر. في الأسابيع الأولى تكون تلك النسبة غير مريحة، لأن المخطط أكثر صرامة من العملية غير الرسمية التي حلّ محلها. تشعر الفرق بذلك كأن النظام يعترض الطريق، ويكون الضغط لتخفيف القاعدة فوريًا. الضغط المضاد هو أن الشرط المسبق المخفف غير مرئي حتى يفشل، بينما الشرط الصارم مرئي فورًا. تُدفع التكلفة مقدمًا وفي مكان يمكنك رؤيته.

مقايضة ثانية: الشروط المسبقة ليست أفضل من الحالة التي تقرأها. إذا كان عدد التأكيدات يعتمد على حقل مصدر تملؤه الأنظمة المنبعية بشكل غير متسق، فسيمرر الفحص أشياء ما كان له أن يمررها. لهذا يجب تسجيل التقييم إلى جانب الاستدعاء، مع المدخلات التي رآها فعلاً. عندما يتبين أن شرطًا مسبقًا خاطئ، يخبرك السجل ما إذا كانت القاعدة سيئة أم البيانات التي تغذيها.

قاعدة التصميم: صنّف، ثم أرفق

القاعدة العملية هي تصنيف الأدوات حسب نطاق التأثير وقابلية التراجع، ثم إرفاق الشروط المسبقة بالفئة بدلًا من الـ prompts الفردية. فئة الأداة خاصية للأداة، تُعلن مرة واحدة، وتُراجع عند تغير الأداة. كل وكيل يمكنه الوصول إلى تلك الأداة يرث الفئة وشروطها المسبقة تلقائيًا. لا يحتاج الوكلاء الجدد إلى تعليم الحذر؛ بل يحتاجون إلى أدوات تحمله بالفعل.

إعلان أدنى يبدو هكذا:

tool: submit_external_tip
blast_radius: third_party
reversibility: irreversible
preconditions:
  - rule: evidence.required_fields
    fields: [claim_text, source_id, source_timestamp]
  - rule: corroboration.min_independent
    count: 2
    provenance_field: source_lineage
  - rule: approval.named_principal
    role: duty_editor
    on_fail: refuse_with_reason

يقيّم الغلاف كل قاعدة بالترتيب وينتج واحدة من ثلاث نتائج: السماح، أو الرفض مع سبب، أو التصعيد إلى المسؤول المسمى. يُكتب سجل التقييم بجانب الاستدعاء في نفس التتبع، بحيث يكون القرار قابلًا لإعادة البناء بعد أشهر: أي القواعد عملت، وما القيم التي قرأتها، وأيها رفض، ومن وافق إن وافق أحد.

هذا عمل غير براق. يبدو كتصميم مخطط وتحكم في الوصول بدلًا من هندسة AI، وهذا جزء من سبب تخطيه. لكن نمط فيلادلفيا لا يُحل بنموذج أفضل أو prompt أكثر حرصًا. يُحل بجعل الشرط المسبق كائنًا من الدرجة الأولى مرفقًا بالأداة، يُقيَّم في الكود، ويُسجل بجانب الإجراء الذي يحكمه. سيستمر الوكلاء في فعل ما يُطلب منهم. السؤال هو ما إذا كان ما يُطلب منهم قد قُيّد بما ترغب المؤسسة فعلاً في حدوثه.

ما يجب تزويده بالأدوات أولاً

ابدأ بجرد، لا بتغيير النموذج. اسرد كل أداة يمكن لأي وكيل استدعاؤها. لكل منها، سجّل ما إذا كانت تصل إلى طرف ثالث، وما إذا كان يمكن التراجع عنها، وما الأدلة التي يجب أن توجد لتتمكن المؤسسة من الدفاع عن الإجراء في مراجعة بعد ستة أشهر. الأدوات التي ليس للسؤال الأخير فيها إجابة واضحة هي التي تحتاج إلى شرط مسبق قبل النشر التالي، لا بعد الحادث التالي.

ثم وصّل التقييم بالتتبع. الرفض غير المسجل لا يمكن تمييزه عن طلب لم يُقدم قط، والموافقة غير المنسوبة لا يمكن تمييزها عن وكيل يتصرف وحده. يصف تقريرا الأخبار المرتبطان أعلاه نتائج؛ والاستجابة الهندسية هي جعل الشروط المسبقة التي كانت ستمنعها صريحة ومنفذة ومقروءة.