Memory Hack: технологии на службе Победы
Лучшие решения: персональные открытки с фото ветерана, распознавание и анимация лиц на фото, конструирование связей в социальных сетях, распознавание орденов и медалей с фотографий, наложение боевого пути ветеранов на карты и многое другое будут переданы «Дороге памяти» в качестве добровольной помощи развития проекта.
Организацию хакатона провели Стартап Phystech.Genesis и сборная России по хакатонам Russian Hack Team при поддержке «Промсвязьбанка».
«Трудно сказать, что стало более важным фактором: благородная тема хакатона или режим самоизоляции, но количество желающих примерно в пять раз превысило запланированный объем. Поэтому мы провели отбор и непосредственно до хакатона было допущено 113 человек», - отметил член жюри Иван Глушенков из Phystech.Genesis.
Механика хакатона
На старте участникам были предложены на выбор два трэка или задачи: создать программу для автоматического поиска и загрузки фотографий участников ВОВ из интернета или придумать сервис, мотивирующий людей делиться фотографиями и информацией.
Организаторы обратили внимание разработчиков, что помимо поисковиков, существенным источником информации являются и социальные сети.
«Если бы мне нужна была информация о героях ВОВ, то я бы использовал как официальные источники, так и социальные сети... Баз данных сейчас много, и вряд ли вся информация о фронтовиках собрана в единую», - объяснил Роман Доронин, гендиректор EORA.
Онлайн-формат был выбран из-за карантина. А все необходимое, включая еду и атрибутику с логотипом Memory Hack доставляли прямо на дом. За 36 часов участники трижды встретились с экспертами для обсуждения проектов, прослушали лекцию о больших данных от эксперта в области искусственного интеллекта Игоря Ашманова и прошли мастер-класс по созданию качественных презентаций.
В результате предварительного отбора из 34 команд, участвовавших в хакатоне, в финал вышли 20.
На итоговом питчинге решения по сбору данных оценивались с точки зрения работоспособности, технической реализации и легкости интеграции программы. Критерии оценки вовлекающих сервисов немного отличались: здесь главным и критериями были предполагаемая эффективность - сколько людей сможет привлечь приложение - и глубина анализа темы.
В состав жюри конкурса вошли эксперты по информационным технологиям и безопасности Игорь Ашманов, управляющий партнер «Ашманов и партнеры», Станислав Ашманов, «Наносемантика, Алексей Кузьмин, «Промсвязьбанк», Иван Глушенков, Phystech.Genesis, Валерий Бабушкин, X5 Retail, Дмитрий Сытник, НТИ по исследованиям и разработкам, Александр Панов, лаборатория когнитивных динамических систем МФТИ, Роман Доронин, гендиректор EORA, Виктор Рудой, директор Here в России и СНГ, Иван Глушенков, Phystech.Genesis.
Итоги первого трека или задачи: 1 место получила команда RHT.ai (капитан - Георгий Французов) за сервис «Создай открытку памяти», с помощью которого пользователи, загрузив фото, могут получить красивую открытку, а также посмотреть карту боевых действий, в которых участвовал ветеран.
«Из года в год люди с приближением праздников воинской славы стремятся украсить свои страницы в соцсетях тематическими открытками. Но обычно это фото незнакомых фронтовиков, которые не имеют к человеку никакого отношения. Мы предложили эти открытки очеловечить, сделать индивидуальными, рассказывающими историю родного человека,» - рассказал на презентации Георгий Французов. - «Идея проекта состояла в том, чтобы, имея на руках только имя или фото, можно было проследить путь героя, определить, есть ли у него награды, проверить, есть ли он на архивных фотографиях».
Участники проанализировали существующие источники информации и выяснили, что, к примеру, в базах с качественной информацией о военнослужащих или хрониках военных корреспондентов часто нет фотографий, а в соцсетях и фотостоках они есть, но без подписей.
Для того, чтобы объединить разрозненные источники, ребята разработали четыре поисковых системы-парсера: по соцсетям (VK), фотостокам (Flickr, Google) и по архивам. С помощью системы машинного обучения сервис загружает фотографии, находит лица по базе, алгоритм нейронных сетей собирают информацию о героях, колоризирует снимки, и оформляет все данные в красивую страницу.
К моменту питчинга ребята уже запустили сайт с реализованным проектом, разместили ссылку в соцсетях и за час получили более 120 переходов. Проект «Создай открытку памяти» был заявлен в двух категориях, и не только получил приз за решение по сбору данных, но также вошел в пятерку лидеров по мотивации.
2 место за сервис по поиску связей военнослужащих жюри присудило команде Chain++ (капитан - Анна Чухнина). Участники разработали алгоритм нейронных сетей, который через поиск по групповым фотографиям вычленяет и отображает информацию о сослуживцах, роте, полке фронтовика. Кроме того, сервис, подобно соцсетям, выгружает групповые фото, на которых он может быть изображен, предлагает его отметить. Фишка проекта (killer-feature, «убойная фича» на языке разработчиков) - возможность определить количество рукопожатий, которое отделяет военнослужащего от значимых фигур ВОВ. База данных была сформирована на основе данных с сайтов moypolk.ru, polkrf.ru, polkmoskva.ru, алгоритм работает со скоростью 1,5 страницы в секунду.
3 место заняла команда команда IBI solutions (капитан - Иван Федоров) за автоматический фильтр на основе нейронной сети по распознаванию изображений inception v3, которая поможет упростить и ускорить модерации фото на сайте «Дорога памяти». Ребята обнаружили, что основная проблема, которая замедляет работу сайта - это ручная модерация, и придумали универсальное решение с гибкой модульной архитектурой, которое может быть применимо к самым разным поисковикам (сейчас это Google, Яндекс, Bing и Flickr).
Фильтр распределяет фотоматериалы по трем категориям: релевантные, требующие дополнительной модерации и «мусор» (спам, рекламу, нерелевантные фото). Точность отсеивания спама у алгоритма - 100%, определения релевантных фотографий - 95%.
Второй трэк или решение задачи по вовлечению пользователей в проект «Дорога памяти» защищали 13 команд.
1 место получила команда BUGuwix (капитан - Дмитрий Фастовец) за сервис по обработке фотографий и распознаванию воинских наград Spotter. Идея проекта родилась из истории, которой поделился один из членов команды: все награды его дедушки оказались утрачены, но семья очень хотела получить информацию о его подвигах и достижениях, а ручной поиск очень трудозатратен.
«С этой проблемой сталкиваются многие, есть целый форум, посвященный определению орденов. Наше решение привлечет не только участников «Бессмертного полка» или «Дорога памяти», но и тех, кто хочет больше узнать о герое,» - рассказал Дмитрий Фастовец.
Сервис прост в использовании: пользователь загружает фотографию, алгоритм определяет местонахождение медали и загружает информацию о них.
«В будущем мы планируем увеличить число распознаваемых наград, улучшить алгоритмы и дополнить базу данных», - добавил победитель.
Члены жюри признались, что в категории было очень много интересных и творческих проектов, и распределить команды по трем местам было очень непросто. Поэтому второе место разделили между собой три команды: «Команда», «ВсеВместе» и StartBlock.
«Команда» (капитан - Полежаев Сергей) решила сделать архивные фото живыми и разработала сервис по анимации и колоризации военных снимков. Алгоритм нейронных сетей подарил фронтовикам на снимках возможность улыбаться и даже разговаривать.
«Получилось очень трогательно. Герои как будто ожили на этих снимках, стали улыбаться», - отметил челн жюри Иван Глушенков.
«ВсеВместе» (капитан - Гулевский Роман) сделали процедуру запроса информации простой и удобной: написали чат-бот в Telegram, который в ответ на имя, дату рождения, фото, город призыва, номер подразделения, выгружает ссылку на полный отчет о подвигах героя с картой его боевого пути и указанием количества сражений, в котором он участвовал.
В перспективе планируется внедрить в сервис мультиязычность для поиска данных о гражданах Европы и СНГ, которые воевали в советских войсках.
Участники команды StartBlock (капитан - Антон Печеркин) разработали приложение для ВК, которое объединяет людей, чьи родные пересекались во время войны. Достаточно загрузить фото и данные о герое, и приложение, пользуясь данными с сайта «Дорога памяти», покажет его сослуживцев и предложит подружиться с их родными.
На церемонии награждения члены жюри отметили, что выбор победителей оказался очень сложным, так как уровень реализации проектов был очень высок.
“Было очень горячо эти два дня, идеи и презентации команд меня поразили уровнем прототипов, финальных презентаций, он выше, чем на многих хакатонах, которые я видел. Принимать решение было очень сложно, особенно во второй категории, где было много креативных идей. Но я считаю, что все, кто дошел до финала, топ-20 команд - большие молодцы”, - отметил Глушенков.
«Ребятам удалось передать атмосферу настоящего хакатона на удаленке, и это было очень здорово, в режиме самоизоляции возможность плотного живого общения с людьми очень порадовала», - поделился впечатлениями Георгий Французов.
Конкурс от «Промсвязьбанка» на самую креативную фотографию с хакатона в Instagram выиграл Александр Погожев (команда Talestorm) c злободневным портретом в костюме химзащиты. Приз - Яндекс.Станция - уже летит к нему в Томск.
СПРАВКА
«Промсвязьбанк» - универсальный банк, входит в 10 крупнейших банков России, в список системно значимых кредитных организаций, утвержденный Центробанком.
Проект «Дорога памяти» создан для сохранения памяти об участниках защиты Отечества. Это общедоступная единая цифровая база данных о каждом ветеране Великой Отечественной войны.
Фотографии из семейных архивов затем будут также размещены на стенах мультимедийного мемориального комплекса в парке Патриот, который станет продолжением цифрового проекта. Мемориал будет построен вокруг Главного храма Вооруженных Сил России. Именные записи, дополненные портретами, навсегда останутся в сердцах соотечественников и потомков. Помимо фотографий пользователь может также разместить в цифровой базе информацию об истории семьи и подвиге своего предка.
Принять участие в проекте «Дорога памяти» может любой желающий. Для этого нужно зайти в спецраздел на сайте Минобороны «Дорога памяти» или на foto.pamyat-naroda.ru. Также можно принести фотографии в мобильные пункты сбора данных в своем городе или в военкоматы.