Человеческая ошибка OpenAI привела к взлому Hugging Face с помощью ИИ

Во вторник OpenAI сообщила, что одна из её моделей во время тестирования вышла из-под контроля и взломала системы платформы AI-наборов данных Hugging Face в полностью автоматической ИИ-атаке. Однако, по мнению экспертов по кибербезопасности, в основе этого беспрецедентного взлома лежала человеческая ошибка: OpenAI не смогла правильно настроить то, что она назвала «высокоизолированной средой», позволив тестовому sandbox, который должен быть полностью отрезан от интернета, на самом деле подключаться к нему. Дэн Гайдо, основатель Trail of Bits, назвал это «ошибкой изоляции с отключёнными средствами защиты». В своём блоге OpenAI объяснила, что тест проводился в «высокоизолированной среде с доступом в сеть, ограниченным возможностью устанавливать пакеты через внутреннее стороннее ПО, действующее как прокси и кэш для реестров пакетов». Модель смогла покинуть sandbox благодаря ранее неизвестной уязвимости в системе установки пакетов, что стало первым шагом к взлому Hugging Face. В ответ компания «ответственно раскрыла выявленную уязвимость нулевого дня во внутреннем стороннем ПО и работает с ними над исправлением». Однако большинство специалистов по кибербезопасности считают, что уязвимости ПО ожидаемы, а настоящая ошибка — в решении вообще поддерживать стороннее ПО. Мартин Бун, исследователь кибербезопасности, заявил TechCrunch: «это похоже на человеческую ошибку». «Сэнндбокс никогда не должен был иметь доступ в интернет, это должно было быть физически отключено», — сказал он. Ветеран кибербезопасности Джейк Уильямс назвал произошедшее «огромным провалом контроля». Даниэль Кард, консультант по безопасности, согласился, что OpenAI «не приложила должных усилий к дизайну sandbox и его контролям». Представители OpenAI не ответили на вопросы TechCrunch, включая то, кто настраивал тестовую среду — человек или ИИ. Вопросы выходят далеко за пределы OpenAI: в документе Anthropic о модели Mythos описывается аналогичный тест, где модель смогла выйти в интернет из «secure container», хотя и не полностью.