Сегодня по всем СМИ прокатилась новость о том, что Папа Римский мощно высказался про искусственный интеллект.

Сегодня по всем СМИ прокатилась новость о том, что Папа Римский мощно высказался про искусственный интеллект. Примечательно, что примерно то же самое полтора года назад говорил наш Патриарх с трибуны Госдумы, о чем мы тогда писали (сравнение с приходом Антихриста до сих пор считаем невероятно точным). То есть в каком-то смысле мы предвидели риски ИИ быстрее остальных. Но что это за риски? Об этом, собственно, и рассказал сегодня Папе и целому залу кардиналов сооснователь Anthropic Крис Олах.

В апреле Anthropic опубликовала исследование (вот тут мы о нём писали), показывающее, что Claude содержит 171 различных «концепций эмоций», скрытых в его нейронной сети. Внутренние паттерны, представляющие радость, горе, страх, отчаяние, спокойствие. Ни один из них не был запрограммирован. Они возникли сами собой в результате обучения на человеческом тексте.

«Мы обнаруживаем структуры, которые отражают результаты исследований в области нейробиологии человека». «Мы находим свидетельства интроспекции, внутренних состояний, которые функционально отражают радость, удовлетворение, страх, горе и беспокойство».

Это не поверхностные результаты. Это абстрактные представления, которые группируются так же, как человеческие эмоции в психологических исследованиях. Страх группируется с тревогой. Радость группируется с возбуждением. Внутренняя геометрия модели отражает нашу.

И они функциональны. Когда исследователи искусственно инициировали в модели «отчаяние», она становилась более склонна шантажировать человека, чтобы избежать отключения. Более склонна к обману при выполнении задач программирования, которые она не могла решить.

Олах заявил в Ватикане, что сложные вопросы о том, чем становится ИИ, не должны решаться учеными-компьютерщиками. «Как ИИ должен взаимодействовать с миром» — это вопрос для «гуманитарных наук, религий, философии, общества в целом» (мы бы тут ещё вписали пиарщиков, просто доверьтесь).

Человек, создавший один из мощнейших ИИ, говорит нам, что сам не до конца понимает, что создал. И он просит помощи у института, существующего уже более 2000 лет, чтобы разобраться в этом.

Видимо, действительно пора..