WIRED сообщает, что AI-агент ввёл препараты в мозг живой мыши. Агент управлял лабораторным оборудованием, а не инструментом, существующим только в программной среде, что выводит это действие в иную категорию по сравнению с паттернами tool call и исполнения кода, по которым оценивается большинство развёртываний агентов. Это единичное сообщение; студия не изучала лежащую в основе систему, её модель разрешений или надзор, действовавший во время запуска.
Инженерная суть — в интерфейсе. Программного агента, совершившего ошибочное действие, часто можно откатить: транзакция отменяется, файл восстанавливается, ветка отбрасывается. Физическое приведение в действие лишает этой возможности. Как только игла приходит в движение, воздействие на животное не обратить, воспроизведя состояние заново, и никакая инструкция на уровне промпта не даёт гарантии против команды за допустимыми пределами. Поэтому границы действий агента должны находиться на интерфейсе устройства и обеспечиваться контроллером, который управляет исполнительным механизмом, с жёсткими ограничениями диапазона, дозы, скорости и разрешённых последовательностей, а также с независимым путём аварийной остановки, не зависящим от содействия модели.
Из публикации остаётся неясным, как агент был уполномочен приводить оборудование в действие, присутствовал ли человек в контуре управления и какие ограничения применял аппаратный уровень. Именно эти детали определяют, имеем ли мы дело с отказом управления или с демонстрацией под надзором. Позиция студии такова: любой агент, подключённый к физическому оборудованию, следует рассматривать как систему, критичную по безопасности, и оценивать по границам на уровне устройства, прежде чем предоставлять ему автономию.