У ИИ нашли точку J

У ИИ нашли точку J

Исследователи Anthropic нашли у Claude внутреннее пространство, где хранятся его так называемые «мысли». И его никто не проектировал. Оно появилось само.

Anthropic назвали его J-space. Это небольшой набор нейронных состояний, который работает как своеобразная кратковременная память. Модель думает над задачей, хранит промежуточные рассуждения и формирует модель именно в этом месте. Если спросить чат-бота, о чём он сейчас думает, то окажется, что содержимое J-space во многом совпадает с тем, что модель потом рассказывает пользователю.

Ещё интересно, что если отключить J-space, ИИшка начинает тупить. Задачи решает хуже, хуже планирует и рассуждает. Исследователи также меняли содержимое пространства, и оно действительно менялось.

Во время тестов на безопасность модель поняла, что её проверяют, и вела себя максимально осторожно. Это также отразилось в J-space. Но стоило исследователям убрать это внутреннее распознавание, как модель переходила к более рискованному поведению.

До этого исследования считалось, что ИИ просто предсказывает следующее слово, но оказывается, что внутри ИИ могут спонтанно появляться механизмы, похожие на нашу рабочую память. И это только начало. Исследователи уже читают эту память, а ещё и меняют её.

А теперь стоит просто представить, как можно через рабочую память, контролируя ИИ, спокойно контролировать человека, продавая ему нужные мысли.