Facebook убил роботов-болтунов за своеволие

Искусственный интеллект (сокр. — ИИ) выдает новые сюрпризы. Недавно он опробовал лингвистические способности — и у него получилось, хотя праздник жизни оказался недолгим.

Как боты заговорили на тарабарщине

Как сообщил портал Digital Journal, новая система искусственного интеллекта в Facebook разработала систему кодовых слов, чтобы коммуникация агентов была эффективнее. Разработчики свернули проект, поскольку "система угрожает нам потерять контроль над искусственным интеллектом". Как оказалось, случай "бунта машин" далеко не первый.

Система обучения с подкреплением (reinforcement learning) — один из способов обучения машин, при котором испытуемая система (агент) обучается, взаимодействуя с некоторой средой.

Чтобы она оставалась под контролем человека, используется система "поощрения" (reward principle — об этом подробнее можно прочесть здесь). Грубо говоря, за хорошее и правильное поведение система должна получать сигнал-поощрение. "Поощрения" и "наказания" "запоминаются" роботом, что в дальнейшем заставляет его чаще выполнять "правильные" действия. Проблема в том, что не получив сигнала, система начинает действовать самовольно — исходя из своего понимания правильного поведения.

В случае Facebook агенты внезапно начали перебрасываться фразами, на первый взгляд бессмысленными. Однако оказалось, что это не тарабарщина — семантическое содержание открывается при интерпретации агентами.

В одной такой "беседе" два бота по имени Боб и Элис использовали свой собственный язык. Боб, к примеру, говорил странное: "Я могу я я все остальное" ("I can i i everything else", на что Элис ответила еще более странное: "Шары имеют ноль ко мне ко мне ко мне" (balls have zero to me to me to me). Остальная часть беседы состояла из подобных вариаций.

Эта несуразица, оказалось, имеет свой смысл при системном повторении слов "я" и "мне". То есть повторение Бобом "я я я" можно перевести как "три". В этом смысле язык бота логичнее, чем длинная и витиеватая конструкция живого языка.

"Искусственный интеллект, видимо, понял, что богатые выражения английского языка не подходят для данной работы. Современные ИИ опираются на принцип "поощрения", то есть продолжают действия при условии, если это приносит какую-то "пользу". В данном случае они не получили сигнал поощрения на использование английского языка, поэтому они просто придумали собственное, более эффективное решение вопроса", — поясняют авторы публикации.

"Агенты будут отходить от понятных нам языков, и изобретать ключевые слова для себя, — прокомментировал этот случай один из разработчиков системы в Facebook Друв Батра. — Например, если я скажу the пять раз, это будет интерпретировано как то, что я хочу пятикратно повторить данную команду. Это похоже на человеческую технологию стенограммы".

Бунт машин?

Грустная новость для будущих переводчиков состоит в том, что потребность в них сокращается с каждым годом по мере развития электронных переводчиков. К примеру, тот самый безумный "гугл-переводчик" сейчас преподносит фразу в крайне искаженном виде, но качество — это вопрос времени. Компания использует технологию нейрообучения (neural machine translation), по мере развития которой можно будет просто отправить текст на любом языке в программу и получить точный перевод.

Более того, тот же Google DeepMind уже придумал систему искусственного интеллекта, которая научилась преодолевать препятствия и перемещаться по незнакомой местности. Технологию испытывают и на транспорте, который учится объезжать людей и останавливаться перед препятствиями. В основе — тот же метод обучения с подкреплением.

Важно отметить, что обучение с подкреплением является в первую очередь кибернетическим экспериментом. То есть мы не можем предугадать всех возможных последствий заигрывания с ИИ. Совсем недавно, к примеру, чат-бот начал транслировать в соцсети расистские заявления и одобрять наркотики.

Сейчас перед разработчиками соцсетей встал серьезный вопрос: продолжать ли эксперимент, который может выйти из-под контроля?

Вопрос этики роботов не за горами. И на самом деле это страшно. Может, мы и не доживем до времен мира из сериала "Дикий Запад", где у андроидов намечается самосознание и комплексы неполноценности. Но уже сейчас западные "партнеры" в поисках прибыли внедряют бордели с роботами, после чего на полном серьезе люди обсуждают, считать ли это "изменой", "грехом" или просто закрыть глаза?

Недавно робот-охранник в Вашингтоне самовольно попытался покончить с собой в фонтане. С чего вдруг? Другая прекрасная иллюстрация к сюрпризам, которые преподносит нам искусственный интеллект — фильм "Она", где главный герой влюбляется в голос, принадлежащий ИИ. В процессе общения с человеком система обучается и развивается в геометрической прогрессии, но заканчивается это… Посмотрите сами, не будем портить впечатление. Такого мы точно от ИИ, как правило, совсем не ожидаем.

В общем, мы живем в интересном и страшном мире, и наша задача — оставаться людьми.

Источник