Глубинное обучение. Новая роль дофамина

Моя цель - предложение широкого ассортимента товаров и услуг на постоянно высоком качестве обслуживания по самым выгодным ценам.

Прежде чем перейти к статье, хочу вам представить, экономическую онлайн игру Brave Knights, в которой вы можете играть и зарабатывать. Регистируйтесь, играйте и зарабатывайте!

В материалах часто пишу о том, что дофамин – это нейрогормон предвкушения и мотивации. Однако, это также элемент глубокой и сложной структуры самообучения. Которая стала известна буквально в новом исследовании. 

Вообще дофамин – основной элемент триады дофамин, норадреналин, ацетилхолин. Эти три элемента помогают войти в то самое состояние потока, на котором держится ультимативная работоспособность.

Карта к дофамину

Это впервые в истории, когда ученые создали карту путей регуляции дофамина. При этом сама карта создавалась режиме реального времени, и основывалась на процессах, протекающих глубоко внутри мозга трех человек. Как результат ученые поняли, что дофамин играет важную роль не только в распознавании вознаграждений, но и в обучении на ошибках. Что способно помочь ученым улучшить кремниевый мозг.

Почему дофамин так интересен?

Исследователи из Медицинской школы Университета Уэйк Форест, далее WFUSM, собрали информацию о механизмах принятия решений. Принципы и понимание работы таких механизмов поможет лучше понять природу психических заболеваний. 

Ранее исследования показали, что дофамин играет важную роль в том, как животные учатся на принципе «поощрений» и «наказаний». Но ранее мы не разбирали принципы дофаминовой активности в рамках кратких сроков, когда колебание нейрогормона занимает доли секунды.

Это первое исследование на людях, в ходе которого изучается, как дофамин кодирует принципы вознаграждений и наказаний. Также мы разобрались с тем, может ли механизм синтеза дофамина быть оптимальным обучающим сигналом в области искусственного интеллекта.

Доктор Кеннет Т. Кишида, доцент кафедры физиологии, фармакологии и нейрохирургии в WFUSM

Принципы глубинного исследования дофамина

Ученые использовали циклическую вольтамперометрию, быстрое сканирование и машинное обучение для измерения уровня дофамина в реальном времени. Поскольку это можно сделать только во время инвазивной хирургии, то в исследовании смогли принять участие три пациента. Им изначально была назначена  глубокая стимуляция мозга при эссенциальном треморе. Подобные исследования – одна из областей, способствующих более тесно подружить органические и синтетические системы интеллекта.

Микроэлектрод из углеродного волокна был вставлен глубоко в мозг участников для мониторинга уровня дофамина в полосатом теле — области мозга, участвующей в принятии решений, формировании привычек и реакции вознаграждения.

Затем участники проходили игру, состоящую из трех уровней. Уровни были спроектированы так, чтобы игроки могли полагаться только на собственный опыт, извлекая уроки из ранее пройденных заданий. И в процессе игроки учились делать выбор, который максимизирует вознаграждение, помогая поднять уровень дофамина, и минимизирует наказания. 

Игроки награждались реальными денежными призами за принятие правильных решений и теряли деньги в качестве штрафа за неверный выбор. Уровень дофамина измерялся каждые 100 миллисекунд у каждого игрока на всех этапах игры.

Первые выводы про дофамин

Главное в исследовании: механизм синтеза и работы дофамина оказался в разы многограннее и сложнее, чем считалось учеными ранее. Колебания уровней дофамина имеют огромное значение в регулировании и переосмыслении получаемого опыта. 

Мнение авторов исследования о дофамине

Мы обнаружили, что дофамин не только играет роль в передаче сигналов как о положительном, так и об отрицательном опыте, но, по-видимому, делает это максимально эффективным образом для извлечения опыта.

Также, в мозге могут быть независимые пути, которые отдельно задействуют дофаминовую систему для вознаграждений и наказаний. Наши результаты показывают удивительный результат: эти два пути могут кодировать опыт вознаграждения и наказания с разницей в 200–400 миллисекунд.

Исследование показывает, что дофамин — ключевой фактор того, как мы учимся на своем опыте. И не важно, хороший это опыт, или плохой. Суть в том, что дофамин помогает мозгу адаптировать поведение, чтобы делать выбор, связанный с положительными результатами.

Этот раздел написан со слов доктора Кеннета Т. Кишиды, доцента кафедры физиологии, фармакологии и нейрохирургии в WFUSM

Вместо вывода

Традиционно дофамин часто называют нейрогормоном удовольствий. Но это не так. Дофамин – это скорее элемент сложной системы, которая обучает наш мозг и направляет поведение. Тот факт, что дофамин также участвует в обучении нашего мозга через наказания – важное открытие. Оно может указывать на новые механизмы, лежащие в основе депрессии, зависимости и связанных с ними психиатрических и неврологических расстройств.

Источник: https://habr.com/ru/articles/783426/


Интересные статьи

Интересные статьи

Всем привет! Я Вадим, главный инженер технологической платформы VK и академический руководитель новой магистерской программы VK Education и ИТМО «Распределëнные веб‑сервисы». В этой статье я хочу...
«Какой неусидчивый ребёнок, лабильная нервная система», — участковый невропатолог стучит молоточком, пишет что-то в пухлой карточке с картонной обложкой. «Ох, уж этот юношеский максимализм!» — вздыхаю...
Несколько недель назад я решил написать о тестировании фиксов. Главной моей целью было определить, существует ли системный подход, которому можно было бы следовать в общих случаях. Анализируя это, я б...
TL;DR — разбираю новую версию Хабра. В статье много текста и изображений. В прошлой части я разобрал мотивы создания новой версии Хабра и недочёты общего внешнего вида. В этой же затронем даже бо...
Привет, Хабр! Сейчас вот сидел, делал для товарища прототип генетического алгоритма. Навеяло поделиться оным, да и некоторыми другими мыслями… Дано (клиент заказал): в некоем царстве складе...