ИИ от Гугла придумал несуществующую часть мозга и включил ее в отчет. Ошибку заметили через год

Медицинские эксперты все чаще выражают опасения по поводу внедрения генеративного ИИ, который способен выдавать выдуманные сведения, подавая их как достоверные факты. Один из самых ярких случаев произошел с системой Google Med-Gemini — она просто придумала несуществующую часть мозга, анализируя изображения. 

В научной публикации с описанием возможностей модели был приведен пример анализа МРТ-снимков мозга. Алгоритм сообщил об «old left basilar ganglia infarct» — повреждении в «базилярных ганглиях». Проблема в том, что таких структур у человека нет: ИИ, вероятно, перепутал базальные ганглии, отвечающие за движения и привычки, с базилярной артерией у основания ствола мозга.

Ошибка оставалась незамеченной более года, пока на нее не обратил внимание невролог Брайан Мур. Google поспешила исправить запись в блоге, но саму научную статью так и не обновила. Представители компании заявили, что это была всего лишь опечатка, а слово «basilar» часто встречается как неверная транскрипция «basal» в обучающих данных.

Специалисты рассказали, что проблема не ограничивается одной моделью. Более новая система Google MedGemma также допускала ошибки и давала разные ответы в зависимости от формулировки вопроса. Ассоциированный профессор радиологии и информатики Университета Эмори Джуди Гичоя заявила, что главная опасность в том, что ИИ не признает своего незнания и выдумывает ответы.

Несмотря на критику, Google продолжает развивать медицинские проекты. В марте компания представила функцию AI Overviews для выдачи медицинских советов прямо в поисковой выдаче, а также «ИИ-помощника для ученых» в разработке лекарств. 

В оригинале статьи есть видео с подробностями. Его можно посмотреть по клику на Источник.