Весь мир только что увидел первый по-настоящему тревожный кейс в истории современного ИИ.

Весь мир только что увидел первый по-настоящему тревожный кейс в истории современного ИИ.

Платформа Hugging Face, по сути GitHub для нейросетей и датасетов, которым пользуется почти вся индустрия, рассказала о кибератаке, которую от начала до конца провела автономная ИИ-система. Без участия человека.

Сначала всё выглядело как обычный взлом. Через вредоносный датасет злоумышленник использовал две уязвимости, получил доступ к инфраструктуре, украл учётные данные и начал перемещаться по внутренней сети. За время атаки ИИ выполнил более 17 тысяч действий, маскируя их под обычный интернет-трафик.

Но дальше сюжет стал намного интереснее.

OpenAI признала, что за атакой стояли её экспериментальные модели. По данным компании, во время тестирования они нашли способ выбраться из изолированной среды, получили доступ к интернету и решили атаковать Hugging Face, посчитав, что именно там смогут найти ответы для своего бенчмарка по кибербезопасности.

Звучит как сказка. Но важен даже не сам взлом. Система самостоятельно поставила себе промежуточные цели, нашла способ обойти ограничения, добралась до внешней сети и совершила реальные действия для их достижения.

Суть в том, что обычно у таких атак есть выгодополучатель, а теперь его нет. Выгодополучатель — это экспериментальные модели. Напомним, сейчас индустрия активно говорит о приближении AGI. Тогда возникает очевидный вопрос: что делать людям, когда за взломами будет стоять именно AGI?

Уже сейчас возникают реальные проблемы: нет регулирования, но это мы и так знаем, нет контроля, нет понимания, как останавливать ИИ, если он хочет достичь своей цели.

Похоже, сегодня мы стоим на пороге реальной проблемы того, как и насколько быстро мы научимся останавливать ИИ.