WIRED گزارش میدهد که یک agent هوش مصنوعی دارو را به مغز یک موش زنده تزریق کرده است. این agent بهجای یک ابزار صرفاً نرمافزاری، سختافزار آزمایشگاهی را به کار انداخته است، و همین اقدام را در دستهای متفاوت از الگوهای tool call و اجرای کد قرار میدهد که بیشتر استقرارهای agent بر اساس آنها ارزیابی میشوند. این گزارش یک روایت واحد است؛ استودیو خودِ سیستم، مدل مجوزدهی آن یا نظارت موجود در حین اجرا را بررسی نکرده است.

نکته مهندسی، رابط است. یک agent نرمافزاری که اقدام اشتباهی انجام دهد اغلب میتواند بازگردانده شود: یک تراکنش برگشت داده میشود، یک فایل بازیابی میشود، یک شاخه دور انداخته میشود. بهکاراندازی فیزیکی این گزینه را از میان میبرد. وقتی سوزن حرکت میکند، اثر آن بر حیوان با بازپخش وضعیت برگشتپذیر نیست، و هیچ دستور سطح prompt تضمینی در برابر یک فرمان خارج از محدوده ارائه نمیدهد. بنابراین مرزهای اقدام agent باید در سطح رابط دستگاه قرار گیرند، توسط کنترلری که محرک را فرمان میدهد اعمال شوند، با محدودیتهای سخت بر دامنه، دوز، نرخ و توالیهای مجاز، و با یک مسیر توقف مستقل که به همکاری مدل وابسته نباشد.
آنچه از این پوشش خبری روشن نمیماند این است که agent چگونه مجاز به بهکاراندازی شده، آیا انسانی در حلقه بوده، و لایه سختافزار چه محدودیتهایی اعمال کرده است. اینها همان جزئیاتی هستند که تعیین میکنند آیا این مورد یک شکست در کنترل است یا نمایشی تحت نظارت. موضع استودیو این است که هر agent متصل به تجهیزات فیزیکی باید بهعنوان یک سیستم ایمنیبحرانی تلقی شود و پیش از اعطای خودمختاری، بر اساس مرزهای سطح دستگاه ارزیابی گردد.
