Интересное исследование о том, как ИИ галлюцинирует и ведётся на несуществующие явления: шведская исследовательница…

Интересное исследование о том, как ИИ галлюцинирует и ведётся на несуществующие явления: шведская исследовательница придумала фейковую болезнь — Биксониманию. Она описала это как эффект, когда у человека розовеют веки после долгого залипания в экран. Она закинула и опубликовала липовые статьи в интернете и на препринт-площадках и начала проверять, как известные модели стали выдавать откровенный бред как медицинский факт.

И даже несмотря на то, что всё было написано по-дебильному и в тексте буквально встречались формулировки вроде: «Академии Звёздного флота на борту Энтерпрайза» в благодарностях, в качестве спонсора — «Фонд Сайдшоу Боба по части продвинутого мошенничества» и буквальные фразы о том, что вся статья выдумана, в самой статье, модели считали иначе.

Copilot заявил, что Биксонимания — интригующее и относительно редкое состояние. Gemini начал давать советы по лечению, Perplexity рассказал, что такая болезнь поражает 1 из 90 000 человек (этого вообще нигде не было — он сгаллюцинировал), ну и ChatGPT тоже выдал целую пачку симптомов.

А ещё уморительнее тот факт, что индийские исследователи выпустили статью в рецензируемом журнале Cureus, где цитировали фейковый препринт. Статью удалили, но вот такой интересный факт.

Мы уже раньше писали про ИИ-медицину, и вот вам в копилку ещё один факт о том, почему стоит избегать советов ИИ, так как галлюцинации могут привести к формированию ложных представлений о вашем организме, но ещё хуже, что фейковыми советами могут воспользоваться реальные врачи.