Ученые из россйской ГК «Нейробиотикс» и Лаборатории нейробототехники МФТИ сумели воссоздать изображения по электрической активности мозга. Правда, речь идет только о работе с изображениями, на которые смотрит человек, чей мозг анализируется.
Собственно, восстанавливать геометрические фигуры, на которые смотрит человек в определенный момент времени, по электрической активности его нервных клеток — вовсе не самоцель. Главное — понять, как мозг шифрует информацию, которую мы затем храним многие годы (ну или минуты, что не менее важно).
Работа российских ученых пересекается с проектами зарубежных коллег. Но в большинстве случаев другие исследователи используют функциональную магнито-резонансную томографию или анализ электрических сигналов, которые получают с нейронов. У этих двух методов есть серьезные ограничения в использовании — в больнице или быту (не сейчас, конечно — в будущем).
Напротив, в работе отечественных специалистов используется электроэнцефалограмма, которая снимается с головы человека обычным образом. Затем полученные данные «скармливаются» специально обученной нейросети. В результате последняя определяет, на что сейчас смотрит испытуемый, и по конфигурации его электрического сигнала выстраивает геометрическую фигуру.
Эксперимент, который провели специалисты, состоял из двух частей. В первом использовались ролики из пяти различных категорий, включая «абстракции», «водопады», лица людей", «скорость». Так, ролики представляли собой видео, снятые от первого лица на снегоходах и других транспортных средствах. Продолжительность роликов составляла 10 секунд, сессия для каждого испытуемого продолжалась около 20 минут.
По итогу ученым удалось доказать, что конфигуация электрической активности мозга значительно отличается в зависимости от категории просматриваемых роликов.
После этого началась вторая стадия эксперимента. Для нее также были отобраны видео, уже не пяти, а трех категорий. Также во второй части эксперимента задействовали две нейросети. Одна из них формировала произвольные изображения из демонстрируемого «шума», вторая — генерировала «шум» из ЭЭГ. После этого обе нейросети объединили, обучив систему воспроизводить изображение по записанному прибором ЭЭГ.
После этого добровольцам стали демонстрировать видео тех же категорий, записывая ЭЭГ. Сигнал в режиме реального времени отправлялся на обработку в двойную систему нейросетей. В итоге воспроизводилось изображение, которое в большинстве случаев относительно точно совпадало с оригиналом. В целом, задачей было не воспроизвести точно видео, а понять, к какой категории относится изображение, сгенерированное нейросетью. Это удалось сделать в 90% случаев.
«Энцефалограмма — следовой сигнал от работы нервных клеток, снимаемый с поверхности головы. Раньше считалось, что исследовать процессы в мозге по ЭЭГ — это все равно, что пытаться узнать устройство двигателя паровоза по его дыму. Мы не предполагали, что в ней содержится достаточно информации, чтобы хотя бы частично реконструировать изображение, которое видит человек. Однако оказалось, что такая реконструкция возможна и демонстрирует хорошие результаты. Более того, на ее основе даже можно создать работающий в реальном времени интерфейс “мозг — компьютер”. Это очень обнадеживает. Сейчас создание инвазивных нейроинтерфейсов, о которых говорит Илон Маск, упирается в сложность хирургической операции и то, что через несколько месяцев из-за окисления и естественных процессов они выходят из строя. Мы надеемся, что в будущем сможем сделать более доступные нейроинтерфейсы, не требующие имплантации» — заявил Григорий Рашков, один из авторов работы, младший научный сотрудник МФТИ и программист-математик компании «Нейроботикс».
