Искусственный интеллект для вашей видеокамеры: создан гибрид оптической и электронной нейронной сети

Инженеры создали нейронную сеть для распознавания образов, часть вычислений в которой производят… лучи света. Она сочетает быстродействие и экономичность оптических систем с гибкостью классического цифрового компьютера. Достижение описано в научной статье, опубликованной в журнале Scientific Reports группой во главе с Гордоном Вецштайном (Gordon Wetzstein) из Стэнфордского университета.

Общепризнанно, что одним из наиболее эффективных инструментов распознавания образов являются свёрточные нейронные сети. Однако у этого решения есть один существенный недостаток: оно требует солидной вычислительной мощности. Несмотря на все успехи в миниатюризации вычислительной техники, пока такое приложение не запустишь на карманном устройстве.

Есть экспериментальные модели, которые обходятся вообще без вычислений в привычном понимании этого слова. В них распознавание образа происходит за счёт физического воздействия на свет, отражённый от предмета. Но и у этой схемы есть свои недостатки. Воплотить алгоритм "в железе" гораздо труднее, чем написать нужную программу. Поэтому устройства получаются сложными и негибкими.



Команда Вецштайна совместила плюсы обоих подходов, создав гибридную нейронную сеть. Её первый слой –оптический. Здесь происходит предварительная обработка сигнала за счёт дифракции световых волн. На это не тратится электроэнергия, память и время процессора. К тому же процесс идёт буквально со скоростью света.

Далее сигнал поступает в традиционную электронную нейронную сеть. Здесь и завершается распознавание образа. Использованная авторами схема позволяет реализовать в быстродействующей и не потребляющей энергии оптике первоначальную грубую обработку изображения, а более тонкие задачи оставить гибкой электронной системе.

Как сообщается в пресс-релизе, детище авторов уже распознаёт изображения автомобилей, самолётов, кошек, собак и других объектов. По скорости и точности работы система не уступает своим чисто электронным аналогам, но требует существенно меньшей вычислительной мощности.

В перспективе эта технология может использоваться в камерах безопасности, носимых медицинских устройствах и беспилотных автомобилях. Правда, на сегодняшний день устройство помещается только на лабораторном столе, а отнюдь не в кармане. Но исследователи работают над тем, чтобы передать оптической составляющей ещё больше функций и благодаря этому дополнительно уменьшить размеры прибора.

Напомним, что ранее "Вести.Наука" (nauka.vesti.ru) писали об искусственном интеллекте, способном создавать выразительные лица для рекламных материалов, работающем как идентификатор личности и отличающем мужчин от женщин по улыбке. Не обошли мы стороной и необычные оптические устройства, рассказав о камере, способной заглядывать за угол.