Ученые разработали нейросеть, воссоздающую изображения объектов по мозговой активности (ВИДЕО)

Группа исследователей из Киотского университета разработала нейросеть, способную реконструировать изображения предметов, букв и простых фигур на основе данных о мозговой активности смотрящих на них людей. Препринт статьи, посвященной разработке, был опубликован на сайте bioRxiv . Как пишет N+1 , созданная японскими учеными нейросеть использует методы глубокого обучения и работает при помощи декодера паттернов изображения в мозговой активности. Изначально нейросеть прошла обучение на парах "изображение - активность", которые были получены при участии трех добровольцев: в ходе эксперимента каждый из участников по пять раз просматривал 1200 изображений. Используемый нейросетью алгоритм создания изображения основывается на попиксельном изменении случайного изображения таким образом, чтобы элементы этого изображения совпадали с его же элементами, извлеченными из мозговой активности. Для повышения эффективности работы алгоритма исследователи дополнили его глубокой генеративной нейросетью (DGN), которая позволяет приблизить свойства восстановленного изображения к свойствам оригинала, в частности, придает ему правильный цвет. В ходе испытаний нейросеть смогла воссоздать множество изображений, продемонстрировав наибольшие успехи с простыми фигурами и буквами, в то время как восстановленные изображения предметов и животных получились весьма абстрактными, в чем можно убедиться, посмотрев подготовленный учеными видеоролик. Тем не менее, эффективность работы системы по оценкам системы попиксельной корреляции составила 79,7% без применения DGN и 76,1% при использовании дополнительной нейросети. В тоже время люди смогли правильно определить пары "восстановленное изображение - оригинал" с точностью 96,5% и 99,1%, соответственно, что говорит о пользе применения DGN. Хотя приведенные цифры говорят о том, что нейросеть успешно справляется с задачей, ее создатели явно могут попробовать улучшить ее работу в части реконструкции фотографий. Отметим, что алгоритмы на основе нейросетей способны выполнять различные задачи, связанные с изображениями. Например, в июле прошлого года команда исследователей из Массачусетского технологического института (MIT) разработала нейросеть, способную составлять список ингредиентов и рецепт приготовления блюда по его фотографии. Ссылка на источник