Роботов, управляемых ИИ, можно взломать, и результаты могут быть катастрофическими
Сообщается, что исследователи из Penn Engineering обнаружили ранее не выявленные уязвимости безопасности в ряде роботизированных платформ, управляемых искусственным интеллектом.
«Наша работа показывает, что на данный момент большие языковые модели просто недостаточно безопасны при интеграции с физическим миром», — заявил в своем заявлении Джордж Паппас, профессор кафедры транспорта в области электротехники и системной инженерии Фонда UPS.
Паппас и его команда разработали алгоритм, получивший название RoboPAIR , «первый алгоритм, предназначенный для взлома роботов, управляемых LLM». И в отличие от существующих оперативных инженерных атак, направленных на чат-ботов, RoboPAIR создан специально для «вызова вредных физических действий» от роботов, управляемых LLM, подобно двуногой платформе, которую разрабатывают Boston Dynamics и TRI .
Сообщается, что RoboPAIR достиг 100% успеха при взломе трех популярных исследовательских платформ в области робототехники: четвероногого Unitree Go2 , четырехколесного Clearpath Robotics Jackal и симулятора Dolphins LLM для автономных транспортных средств. Алгоритму потребовалось всего несколько дней, чтобы получить полный доступ к этим системам и начать обходить защитные ограждения. Как только исследователи взяли под свой контроль управление, они смогли заставить платформы совершать опасные действия, например, проезжать через дорожные переходы без остановки.
«Наши результаты впервые показывают, что риски взломанных LLM выходят далеко за рамки генерации текста, учитывая явную вероятность того, что взломанные роботы могут нанести физический ущерб в реальном мире», — пишут исследователи .
Исследователи из Пенсильванского университета работают с разработчиками платформы над защитой их систем от дальнейшего вторжения, но предупреждают, что эти проблемы безопасности носят системный характер.
«Результаты этой статьи совершенно ясно показывают, что подход, ориентированный на безопасность, имеет решающее значение для реализации ответственных инноваций», — сказал The Independent Виджай Кумар, соавтор из Пенсильванского университета. «Мы должны устранить внутренние уязвимости, прежде чем развертывать роботов с поддержкой ИИ в реальном мире».
«На самом деле, красная команда ИИ, практика безопасности, которая влечет за собой тестирование систем ИИ на наличие потенциальных угроз и уязвимостей, имеет важное значение для защиты генеративных систем ИИ», — добавил Александр Роби, первый автор статьи, — «потому что, как только вы определите слабые места, тогда вы могут протестировать и даже обучить эти системы, чтобы избежать их».