ИИ больше не сможет врать: русские учёные победили "галлюцинации" нейросетей

В России создали детектор, который ловит нейросети на вранье.

Русские учёные разработали софт для проверки честности ИИ. Специалисты из МГППУ (Московского государственного психолого-педагогического университета) представили алгоритмы, которые способны распознавать так называемые "галлюцинации" у нейросетей. Теперь вывести ИИ на чистую воду можно будет в автоматическом режиме, сообщили ТАСС в пресс-службе вуза.

Проблема "галлюцинаций" ИИ сегодня считается главной головной болью разработчиков по всему миру. Популярные чат-боты часто выдают ложную информацию с таким уверенным видом, что в неё легко верит даже подготовленный пользователь. Нейросети могут выдумывать исторические факты, цитировать несуществующие законы или приписывать людям цитаты, которые те никогда не произносили.

Специалисты предложили бороться с этим при помощи математики. Они создали систему из двух алгоритмов. Первый берёт на себя роль дознавателя и подбирает идеальные запросы для проверки. Второй выступает в роли детектора лжи — он оценивает, насколько правдоподобно звучит ответ.

В основе разработки лежит сложная математическая модель: слова и предложения переводятся в метрические пространства. Проще говоря, компьютер измеряет расстояние между смыслами. Если ответ нейросети "улетает" слишком далеко от доказанных фактов в семантическом поле, система помечает его как недостоверный.

Новая технология не только повысит надёжность умных ассистентов, но и облегчит жизнь промпт-инженерам — людям, которые профессионально составляют запросы для нейросетей. Программное обеспечение само сможет генерировать нужные команды, проверяя их на корректность. Ожидается, что разработка будет особенно востребована в сферах, где цена ошибки слишком высока: в медицине, юриспруденции и программировании.