В России создали ИИ для управления компьютером с помощью взгляда

В Новгородском государственном университете разработали модели искусственного интеллекта (ИИ), которые станут основой для управления компьютером с помощью глаз. Новая технология будет особенно полезна людям с ограниченными возможностями, позволяя взаимодействовать с техникой без рук — только взглядом.

Разработка включает две нейросетевые модели. Одна распознает лицо на изображении, вторая — ключевые точки, такие как глаза, брови, нос и рот. Совместно они формируют систему, которая может определять, куда именно смотрит человек. Модели были обучены на доработанных датасетах из открытых источников и прошли тестирование на новых данных. Точность первой модели по определению рамки лица составила 87%, а вторая показывает минимальное отклонение в распознавании ключевых точек — менее двух пикселей.

В планах команды — создание третьей модели, которая сможет точно определять направление взгляда на экране. Это будет финальный элемент для работы полноценного айтрекера. Сейчас готовится собственный набор данных, так как подходящих открытых решений не существует.