Facebook отправил нейросеть на прогулку по виртуальному Нью‐Йорку
Программисты Facebook провели эксперимент, участие в котором принял искусственный интеллект. Нейросети, состоящей из «туриста» и «гида» пришлось прокладывать маршрут по виртуальному Нью‐Йорку. Таким образом разработчики выяснили, каким образом компьютерный алгоритм ориентируется в пространстве и передает получаемую информацию. Описание исследования было опубликовано на портале arXiv.org.
Специалисты создали систему Talk The Walk. Входящие в нее агенты «общаются» на машинном или естественном языке. «Туристу» предстояло найти дорогу к пункту назначения при помощи «гида». Сам он оказался в случайной точке нью-йоркского района «Адская кухня».
О местоположении «турист» рассказывал «гиду» подобно тому, как это бы сделал человек. Между агентами шел постоянный диалог: первый говорил о том, что видит, а второй задавал уточняющие вопросы и направлял «коллегу».
В состоявшемся эксперименте впервые объединили три навыка — восприятие, выполнение действий и интерактивный диалог. Для исследования разработчики отсняли 360-градусные панорамы «Адской кухни». При этом «гид» для навигации использовал двухмерную карту, знал о местонахождении конечной точки маршрута, но не предполагал о положении «туриста». Последний, наоборот, видел все вокруг, не имея представления, где находится пункт назначения и как его достичь.
Базой для алгоритма послужил механизм MASC (Masked Attention for Spatial Convolution). С его помощью можно быстро определить ключевые слова в ответах «гида». Они и позволяют быстро понять, куда именно двигаться.
Использование алгоритма, отметили специалисты Facebook, удвоило точность получаемых результатов. Программа, добавили они, лучше работает, если самостоятельно генерирует сообщения, а не использует заключенные в набор данных фразы.
В перспективе, надеются разработчики, подобные схемы улучшат работу систем искусственного интеллекта в целом.
В России в скором времени появятся автомобили, управлять которыми можно будет без руля. Этот и другие проекты разрабатываются в рамках федеральной программы «Проект 5‐100» в ведущих российских университетах.