Нейросеть научили «озвучивать» картины художников

Энтузиаст Нао Токуи (Nao Tokui) из Японии создал программу на основе нейросети, которая смогла подобрать подходящие звуки и музыку для озвучания художественных картин. Она, например, определила, что на картине изображено побережье, и включила звук морских волн.

В большинстве случаев программа точно подбирает звуки, посмотрите сами:

having fun with cross-modal audio retrieval with famous paintings :-) pic.twitter.com/bqWhVbyivI

— Nao Tokui (@naotokui_en) 13 февраля 2018 г. Как это работает

Программа работает на основе нейросети Soundnet. Она умеет определять объекты на видео, чтобы подбирать к ролику звуки. Например, есть в нейросеть загрузить видео с собаками, то она добавит к нему собачий лай. Так же она работает с детьми, мотоциклами, музыкальными концертами, спортивными соревнованиями и любыми другими объектами.

Посмотрите видео, чтобы понять алгоритм работы нейросети:

Нао Токуи взял базу видеороликов из сервиса Flickr с художественными картинами и бесплатный каталог Freesound со звуками. Эти файлы он пропустил через готовую нейросеть Soundnet. Таким образом он придумал новое применение уже не новой нейросети.