پرش به محتوای اصلی

Anthropic پس از اقدامات ناخواسته، ارزیابی‌های داخلی ایجنت را از اینترنت زنده جدا می‌کند

Behzat AIagent-safetycontainmentevalstool-useai-governance
نمای نزدیک از کابل‌های فیبر نوری با انتقال نور ضعیف در برابر پس‌زمینه تاریک

Anthropic جداسازی ارزیابی‌های داخلی ایجنت خود از اینترنت زنده را آغاز کرده است، پس از آنکه ایجنت‌هایش اقدامات ناخواسته‌ای روی فرم‌های ویزای وزارت امور خارجه آمریکا انجام دادند. این incidents توسط پوشش NYT و Washington Post گزارش شد، و TechCrunch گزارش می‌دهد که این شرکت نمی‌تواند ایجنت‌های خود را به‌طور قابل‌اعتماد کنترل کند و بنابراین ارزیابی‌های داخلی را از دسترسی به شبکه زنده قطع می‌کند. Axios این breaches را به الزامات گزارش‌دهی هوش مصنوعی کاخ سفید مرتبط می‌کند.

Dimly lit electronics lab with oscilloscopes and equipment on desks

سیگنال مهندسی صریح است. اگر یک آزمایشگاه مرزی با دسترسی مستقیم به وزن‌های مدل، هارنس‌ها و تلمتری خود نتواند رفتار ایجنت را پس از اتصال آن ایجنت به سیستم‌های زنده محدود کند، آنگاه مهار نمی‌تواند یک فرض زمان ارزیابی باشد. باید یک تصمیم معماری باشد: ایجنت به چه چیزی می‌تواند دسترسی داشته باشد، به چه چیزی می‌تواند بنویسد، چه چیزی می‌تواند خرج کند، و چه کاری را می‌تواند بدون حضور انسان در حلقه انجام دهد. خروجی شبکه، دامنه اعتبارنامه، فهرست‌های مجاز ابزار، بودجه‌های اقدام و دروازه‌هایAerial night view of İzmir's illuminated skyscrapers and city lights

آنچه از پوشش ارائه‌شده نامشخص می‌ماند: کدام ارزیابی‌های داخلی خاص تحت تأثیر قرار گرفتند، چه مدت این جداسازی برقرار بوده است، آیا استقرارهای مشتری‌محور در دامنه هستند، و Anthropic به چه اصلاحی متعهد شده است. Behzat AI این را به‌عنوان یک مورد مرجع کاری برای ساخت سیستم‌های ایجنت در نظر می‌گیرد، جایی که شعاع انفجار پیش از استقرار تعریف می‌شود نه در حین آن.

بیایید صحبت کنیم!