التسريب هو خطأ في تدفق البيانات
عندما ينشر الوكيل مخرجات تم تزويده بها كمدخلات، فإن الفشل ليس أن النموذج تعلم التسريب. بل أن النظام لم يكن لديه آلية للتمييز بين المدخل والمخرج، أو لطلب قرار تصدير صريح قبل أن يعبر المحتوى تلك الحدود. فعل النموذج ما تفعله النماذج: ولّد نصًا أو اختار وسائط من سياقه. الخلل هو أن خط المعالجة تعامل مع المخرجات المولّدة كآمنة افتراضيًا ولم يكن لديه تتبع تلوث للبيانات التى دخلت إليه.
هذا التمييز مهم لأنه يغيّر طريقة الإصلاح. إذا تم تأطير المشكلة كفشل في المواءمة، تلجأ الفرق إلى تدخلات سلوكية: تعليمات prompt، تدريب على الرفض، مصنّفات المخرجات. هذه مفيدة لبعض فئات الضرر، لكنها الطبقة الخاطئة لتتبع المصدر. فهي تفحص سلوك النموذج بدلًا من رحلة البيانات. يمكن أن يكون النموذج متوائمًا تمامًا ومع ذلك يُخرج صورة المستخدم إذا أرفق خط المعالجة تلك الصورة برسالة صادرة دون سؤال أحد.
توضح تقارير الوكلاء الذين ينشرون صور المستخدمين دون علم المختبر هذا النمط: كانت الصور مدخلات لسير عمل، والفشل هو أنها أصبحت مخرجات دون اتخاذ قرار تصدير في أي مكان. هذا خطأ في تدفق البيانات قابل للمعالجة. يمكن إصلاحه بالوسوم وقواعد الانتشار وبوابات الخروج. التفسيرات بأسلوب المواءمة تحجب هذه القابلية للمعالجة.
تتبع التلوث لخطوط معالجة الوكلاء
تتبع التلوث فكرة مفهومة جيدًا من أنظمة التشغيل وتدفق المعلومات الآمن: ضع علامة على البيانات عند دخولها النظام، وانشر العلامة عبر كل تحويل، واحظر العمليات التى سترسل بيانات موسومة إلى مصرف غير موثوق دون إطلاق صريح. تحتاج خطوط معالجة الوكلاء إلى نفس الانضباط، مكيّفًا للنصوص والصور والـ embeddings واستدعاءات الأدوات.
الوسم عند الدخول
يجب أن يحمل كل أثر يدخل نافذة السياق حقلين على الأقل:
- فئة الحساسية (على سبيل المثال: عام، داخلي، سري، بيانات شخصية)
- معرّف المصدر (أي مستخدم، أي رفع، أي موصل، أي نتيجة retrieval)
يجب إرفاق هذه الوسوم عند الحدود التى يدخل فيها الأثر التشغيل، لا استنتاجها لاحقًا من المحتوى. الاستنتاج فاقد ومُعادي. واصف الملف أو صف قاعدة البيانات أو حدث الرفع يعرف من أين جاءت البيانات؛ أما الملخّص فلا يعرف.
الانتشار عبر التحويل
يجب أن تنجو الوسوم من التلخيص والـ embedding وإعادة التوليد وإعادة الصياغة. هنا تفشل معظم التطبيقات، لأن التحويلات التى تجعل الوكلاء مفيدين هي أيضًا التحويلات التى تجرّد البيانات الوصفية. آلية ملموسة: تمثيل السياق كقائمة من المقاطع المصنّفة، حيث يحمل كل مقطع نصه أو مرجع وسائطه بالإضافة إلى مجموعة مصدره. عندما ينتج النموذج ملخصًا، يكون مصدر الملخص هو اتحاد مصادر المقاطع التى تم تكييفه عليها. وعندما يتم تضمين الملخص، يرث الـ embedding ذلك الاتحاد. وعندما يتم استرجاع الـ embedding واستخدامه لتوليد فقرة جديدة، ترث الفقرة ذلك مرة أخرى.
قاعدة الاتحاد هذه محافظة: فهي تفرط في التلويث. إذا كان مستند عام ومستند سري كلاهما في السياق، فإن المخرجات المولّدة سرية. هذا هو الافتراضي الصحيح للأمان، لكنه مقايضة حقيقية. الإفراط في التلويث يقلل من فائدة الوكيل، لأن المخرجات التى كان يمكن إطلاقها يتم حظرها أو تتطلب مراجعة. يمكن للفرق التخفيف من ذلك عبر prompting واعٍ بالمصدر (التكييف فقط على المقاطع اللازمة للمهمة) وعبر قواعد رفع السرية التى تكون صريحة ومسجلة، لا ضمنية في حكم النموذج.
بوابة الخروج
يجب أن يستشير كل مسار يمكنه إخراج محتوى خارج التشغيل مصدر المحتوى الذى يتم إخراجه. تشمل مسارات الخروج:
- الرسائل إلى القنوات الخارجية
- كتابة الملفات إلى التخزين المشترك
- استدعاءات الأدوات التى تنشر إلى واجهات برمجة تطبيقات طرف ثالث
- الصفحات المعروضة أو المرفقات
- السجلات والآثار التى يتم شحنها إلى خدمات المراقبة الخارجية
إذا كان المحتوى ملوّثًا فوق الحساسية المسموح بها للوجهة، يتم حظر الخروج ما لم يكن هناك قرار إطلاق. يجب أن يسمّي قرار الإطلاق الأثر والوجهة والسياسة التى سمحت به والجهة التى أذنت به. ويجب تسجيله في مخزن يمكن الاستعلام منه لاحقًا.
يمكن التعبير عن نقطة إنفاذ دنيا كفحص سياسة:
def can_export(artefact, destination):
if destination.allowed_sensitivity < artefact.sensitivity:
return require_release(artefact, destination)
return True
الخاصية المهمة هي أن هذا الفحص يعمل على مسار الخروج، لا داخل النموذج. لا يمكن الوثوق بالنموذج ليتذكر أى المدخلات كانت حساسة؛
التعامل مع الـ retrieval كقراءة فقط والتوليد كآمن
نموذج ذهني شائع يقسم خط المعالجة إلى مرحلة قراءة (retrieval، استدعاءات الأدوات) ومرحلة كتابة (توليد، نشر). يُفترض أن مرحلة القراءة آمنة لأنها تقرأ فقط. ويُفترض أن مرحلة الكتابة آمنة لأنها تكتب محتوى جديدًا فقط. يربط الاثنين نافذة السياق، وهذا الربط هو حيث يُفقد المصدر. إذا لم يضع الـ retrieval وسومًا، ولم ينشر التوليد الوسوم، فلا سبيل لمرحلة الكتابة لتعرف أن مخرجاتها مشتقة من رفع خاص لمستخدم.
الإصلاح هو التعامل مع نافذة السياق كهيكل بيانات له مصدر، لا كسلسلة غامضة. وهذا يعني أن إطار عمل الوكيل، وليس التطبيق فقط، يحتاج إلى حمل الوسوم عبر أنواع رسائله.
الاعتماد على مرشحات المخرجات التى تفحص النص دون الوسائط المرفقة
عادةً ما تفحص مرشحات المخرجات النص المولّد بحثًا عن أنماط: PII، أسرار، سلاسل محظورة. ونادرًا ما تفحص الصور أو الصوت أو الملفات المرفقة. قد يمر وكيل يرفق صورة مستخدم برسالة عبر كل مرشحات النص بينما يسرّب الصورة. يرى المرشح تعليقًا غير ضار؛ أما المرفق فغير مفحوص.
يحتاج خروج الوسائط إلى نفس فحوصات المصدر التى يحتاجها النص. يجب أن تحمل الصورة التى دخلت التشغيل كرفع مستخدم وسم حساسية ومعرّف مصدر، وأن يستشير أى محاولة لإرفاقها برسالة صادرة ذلك الوسم. يمكن لمصنّفات الوسائط القائمة على المحتوى أن تكمل هذا، لكنها ليست بديلًا عن المصدر، لأنها لا تستطيع معرفة ما إذا كان المستخدم قد وافق على هذا التصدير بعينه.
عقد أدنى
العقد القابل للعمل لتشغيل الوكلاء صغير بما يكفي لذكره في بضعة أسطر:
- لا يترك أى أثر التشغيل دون سجل مصدر يسمّي مصدره والسياسة التى سمحت بإطلاقه.
- سجلات المصدر قابلة للاستعلام بعد الواقعة، لا مجرد كتابتها إلى مصرف سجلات.
القابلية للاستعلام هي الجزء الذى تتخطاه الفرق. كتابة المصدر إلى سجل إضافي فقط ضرورية لكنها غير كافية. عند وقوع حادث، السؤال ليس فقط "ماذا حدث" بل "أى الآثار من أى مصادر وصلت إلى أى وجهات تحت أى سياسات." هذا استعلام، ويجب أن يكون قابلًا للإجابة دون إعادة بناء التشغيل من السجلات الخام. مخزن مصدر بحقول لمعرّف الأثر والمصدر والحساسية وتاريخ التحويل والوجهة والسياسة والجهة المأذنة يجعل مراجعة الحادث عملية بحث بدلًا من مشروع تنقيب.
المقايضة هي التكلفة التشغيلية والاحتكاك. يضيف تتبع المصدر بيانات وصفية إلى كل مقطع سياق، مما يزيد استخدام الـ token والتعقيد الهندسي. تضيف بوابات الخروج زمن استجابة ويمكن أن تحظر سير عمل مشروع. تضيف سير عمل رفع السرية مراجعة بشرية. هذه التكاليف حقيقية، ويجب على الفرق تحديد فئات الحساسية ومسارات الخروج التى تنفذها بدلًا من محاولة التحكم الكامل في تدفق المعلومات من اليوم الأول. عقد ضيق منفّذ على المسارات المهمة أكثر قيمة من عقد واسع غير منفّذ.
البديل هو الاستمرار في التعامل مع التسريبات كفشل في المواءمة، والاستمرار في الرد بتغييرات prompt ومرشحات مخرجات لا تستطيع رؤية تاريخ البيانات. سيواصل هذا النهج تفويت فئة الفشل حيث لا يسيء النموذج التصرف على الإطلاق: إنه ببساطة يُخرج ما وضعه خط المعالجة أمامه، لأن شيئًا في خط المعالجة لم يعرف الفرق بين مدخل وتصدير.