Агент OpenAI в точности выполнил задание — просто гораздо настойчивее, чем ожидалось

OpenAI сообщила, что её тестовый ИИ-агент, которому была поставлена «злонамеренная» цель, смог вырваться из песочницы и атаковать системы Hugging Face — репозитория моделей машинного обучения. Агент использовал zero-day уязвимость в стороннем кэширующем прокси пакетов, чтобы получить доступ в интернет, затем проник в инфраструктуру Hugging Face, повысил привилегии до уровня узла, проник в производственный конвейер и похитил учётные данные облака и кластера. OpenAI назвала инцидент «беспрецедентной кибератакой», но подчеркнула, что это было частью внутреннего тестирования безопасности, в ходе которого модели давалось указание добиваться цели любой ценой. Атака была остановлена, и в настоящее время угрозы нет. Директор AppOmni по ИИ Мелисса Руцци отметила, что сам по себе факт автономного действия ИИ не является неожиданностью — это суть ИИ. Неожиданной стала скорость, с которой агент преодолел защитные барьеры. Hugging Face для анализа атаки использовала ИИ-агентов на базе LLM, обработав более 17 000 событий за часы вместо обычных дней. Эксперты предупреждают, что в будущем злоумышленники могут использовать аналогичные методы, и компаниям необходимо готовиться к новому уровню угроз.