Информация

Как сигналы вознаграждения укрепляют синаптические связи в человеческом мозге?

Как сигналы вознаграждения укрепляют синаптические связи в человеческом мозге?

В широком смысле средний мозг посылает сигналы вознаграждения (например, через дофаминергические нейроны), которые сообщают остальному мозгу, удалось ли ему удовлетворить потребности организма. Если в мозгу есть определенные действия, которые приводят к успешному действию, тогда вероятность повторения этих действий должна быть выше (поскольку это полезно для удовлетворения потребностей организма в будущем).

Чтобы увеличить вероятность появления паттерна активации как реакции на определенную историю сенсорного ввода, нейроны, которые были задействованы для создания этого паттерна, должны будут адаптировать свои синапсы так, чтобы они стали более чувствительными к этому входу.

Мне интересно, как, как считается, сигналы вознаграждения влияют на нейроны, которые были задействованы в предыдущих действиях организма на синаптическом уровне?


Высвобождение дофамина изменяет природу синаптической долговременной потенциации (ltp), которая, как считается, лежит в основе долговременной памяти. см. http://www.sciencedirect.com/science/article/pii/S0896627305003971 для статьи, с которой я знаком, для точки входа в это поле

для обзорной статьи:
http://www.nature.com/nrn/journal/v5/n6/abs/nrn1406.html
см. раздел «Допамин и память на клеточном уровне»


Нейробиологи выяснили, как мозг может улучшить связи

Изображения для загрузки на веб-сайте MIT News office предоставляются некоммерческим организациям, прессе и широкой публике в соответствии с лицензией Creative Commons Attribution Non-Commercial No Derivatives. Вы не можете изменять предоставленные изображения, кроме как обрезать их до нужного размера. При воспроизведении изображений необходимо использовать кредитную линию, если она не указана ниже, предоставьте изображения «MIT».

Предыдущее изображение Следующее изображение

Когда мозг формирует воспоминания или изучает новую задачу, он кодирует новую информацию, настраивая связи между нейронами. Нейробиологи Массачусетского технологического института открыли новый механизм, который способствует укреплению этих связей, также называемых синапсами.

В каждом синапсе пресинаптический нейрон посылает химические сигналы одной или нескольким постсинаптическим принимающим клеткам. В большинстве предыдущих исследований того, как эти связи развиваются, ученые сосредоточились на роли постсинаптических нейронов. Однако команда Массачусетского технологического института обнаружила, что пресинаптические нейроны также влияют на силу связи.

«Этот механизм, который мы обнаружили на пресинаптической стороне, добавляет к инструментарию, который у нас есть для понимания того, как могут изменяться синапсы», - говорит Трой Литтлтон, профессор кафедры биологии, мозга и когнитивных наук в Массачусетском технологическом институте, член Массачусетского технологического института. Институт Пикауэра по обучению и памяти, и старший автор исследования, которое опубликовано в выпуске журнала 18 ноября. Нейрон.

Получение дополнительных сведений о том, как синапсы меняют свои связи, могло бы помочь ученым лучше понять нарушения развития нервной системы, такие как аутизм, поскольку многие из генетических изменений, связанных с аутизмом, обнаружены в генах, кодирующих синаптические белки.

Ричард Чо, научный сотрудник Института Пикауэра, является ведущим автором статьи.

Перепрограммировать мозг

Один из самых больших вопросов в области нейробиологии - это то, как мозг перестраивается в ответ на изменение поведенческих условий - способность, известная как пластичность. Это особенно важно на раннем этапе развития, но продолжается на протяжении всей жизни, поскольку мозг учится и формирует новые воспоминания.

За последние 30 лет ученые обнаружили, что сильный вход в постсинаптическую клетку заставляет ее направлять больше рецепторов для нейротрансмиттеров на свою поверхность, усиливая сигнал, который она получает от пресинаптической клетки. Это явление, известное как долговременная потенциация (ДП), возникает после постоянной высокочастотной стимуляции синапса. Долгосрочная депрессия (LTD), ослабление постсинаптического ответа, вызванное очень низкочастотной стимуляцией, может возникнуть, когда эти рецепторы удалены.

По словам Литтлтона, ученые меньше обращают внимание на роль пресинаптического нейрона в пластичности, отчасти потому, что его труднее изучать.

Его лаборатория потратила несколько лет на разработку механизма того, как пресинаптические клетки высвобождают нейротрансмиттер в ответ на всплески электрической активности, известные как потенциалы действия. Когда пресинаптический нейрон регистрирует приток ионов кальция, несущих электрический всплеск потенциала действия, везикулы, которые хранят нейротрансмиттеры, сливаются с клеточной мембраной и выливают свое содержимое за пределы клетки, где они связываются с рецепторами на постсинаптическом нейроне.

Пресинаптический нейрон также высвобождает нейромедиатор в отсутствие потенциалов действия в процессе, называемом спонтанным высвобождением. Ранее считалось, что эти «мини» представляют собой шум, возникающий в мозгу. Однако Литтлтон и Чо обнаружили, что minis можно регулировать, чтобы управлять структурной пластичностью синапсов.

Чтобы исследовать, как укрепляются синапсы, Литтлтон и Чо изучили тип синапсов, известный как нервно-мышечные соединения, у плодовых мушек. Исследователи стимулировали пресинаптические нейроны быстрой серией потенциалов действия в течение короткого периода времени. Как и ожидалось, эти клетки высвобождали нейромедиатор синхронно с потенциалами действия. Однако, к своему удивлению, исследователи обнаружили, что мини-события значительно усилились после того, как электрическая стимуляция закончилась.

«Каждый синапс в мозге запускает эти мини-события, но люди в значительной степени игнорируют их, потому что они вызывают лишь очень небольшую активность в постсинаптической клетке», - говорит Литтлтон. «Когда мы давали этим нейронам сильный импульс активности, эти мини-события, которые обычно очень низкочастотные, внезапно нарастали, и они оставались повышенными в течение нескольких минут, прежде чем снизились».

Синаптический рост

Усиление minis, по-видимому, провоцирует постсинаптический нейрон высвобождать сигнальный фактор, до сих пор не идентифицированный, который возвращается в пресинаптическую клетку и активирует фермент, называемый PKA. Этот фермент взаимодействует с белком везикул, называемым комплексином, который обычно действует как тормоз, зажимая везикулы, чтобы предотвратить высвобождение нейромедиатора до тех пор, пока он не понадобится. Стимуляция PKA модифицирует комплексин так, что он освобождает от его захвата везикулы нейротрансмиттера, производя мини-события.

Когда эти небольшие пакеты нейротрансмиттера высвобождаются с повышенной скоростью, они помогают стимулировать рост новых связей, известных как бутоны, между пресинаптическими и постсинаптическими нейронами. Это делает постсинаптический нейрон еще более восприимчивым к любой будущей коммуникации от пресинаптического нейрона.

«Обычно у вас есть около 70 таких бутонов на клетку, но если вы стимулируете пресинаптическую клетку, вы можете очень быстро вырастить новые бутоны. Это удвоит количество образующихся синапсов », - говорит Литтлтон.

Исследователи наблюдали этот процесс на протяжении всего личиночного развития мух, которое длится от трех до пяти дней. Однако Литтлтон и Чо продемонстрировали, что острые изменения синаптической функции также могут приводить к синаптической структурной пластичности во время развития.

«Механизм пресинаптического терминала может быть очень остро модифицирован, чтобы управлять определенными формами пластичности, что может быть действительно важно не только в развитии, но и в более зрелых состояниях, когда синаптические изменения могут происходить во время поведенческих процессов, таких как обучение и память». - говорит Чо.

Исследование важно, потому что оно одним из первых показывает, как пресинаптические нейроны способствуют пластичности, - говорит Мария Быховская, профессор неврологии медицинского факультета Уэйнского государственного университета, которая не принимала участия в исследовании.

«Было известно, что рост нейронных связей определяется активностью, но конкретно, что происходит, было не очень понятно», - говорит Быховская. «Они прекрасно использовали Дрозофила для определения молекулярного пути ».

Лаборатория Литтлтона сейчас пытается выяснить больше механистических деталей того, как комплексин контролирует высвобождение пузырьков.


Популярные статьи об ИИ:

В настоящее время существует два направления изучения нейронных сетей.

  1. Создание компьютерных моделей, которые верно повторить функционирующие модели нейронов реального мозга. Это позволяет объяснить как механизмы реальной работы мозга, так и лучше изучить диагностику / лечение заболеваний и травм центральной нервной системы. Например, в обычной жизни это позволяет нам узнать больше о том, что предпочитает человек (путем сбора и анализа данных), стать ближе к человеку, создавая более персонализированные интерфейсы и т. Д.
  2. Создание компьютерных моделей, которые абстрактно повторить функционирующие модели нейронов реального мозга. Это позволяет использовать все преимущества настоящего мозга, такие как помехозащищенность и энергоэффективность, при анализе больших объемов данных. Здесь, например, набирает популярность глубокое обучение.

Как и человеческий мозг, нейронные сети состоят из большого количества связанных элементов, имитирующих нейроны. Глубокие нейронные сети основаны на таких алгоритмах, благодаря которым компьютеры учатся на собственном опыте, формируя в процессе обучения многоуровневые, иерархические представления о мире.

Архитектура британских программ Deepmind, по словам одного из соучредителей, основана на принципах функционирования мозга разных животных. Работая в игровой индустрии, он получил докторскую степень в Массачусетском технологическом институте и изучал, как работает автобиографическая память, как повреждения гипоталамуса вызывают амнезию. Глава Facebook AI Reasearch также видит будущее машинного обучения в дальнейшем изучении принципов функционирования живых нейронных систем и их переносе в искусственные сети. Он проводит такую ​​аналогию: мы не пытаемся делать механических летучих мышей, но мы изучаем физические законы обтекания крыла при постройке самолетов - тот же принцип следует использовать для улучшения нейронных сетей.

Разработчики глубокого обучения всегда учитывают особенности человеческого мозга - построение его нейронных сетей, процессы обучения и памяти и т. Д., Пытаясь использовать принципы своей работы и моделируя структуру миллиардов взаимосвязанных нейронов. В результате глубокое обучение представляет собой пошаговый процесс, похожий на процесс обучения человека. Для этого необходимо предоставить нейронной сети огромное количество данных, чтобы обучить систему четкой и точной классификации данных.

Фактически, сеть получает серию импульсов на входе и выдает на выходе, как и человеческий мозг. В каждый момент каждый нейрон имеет определенное значение (аналог электрического потенциала биологических нейронов), и, если это значение превышает пороговое значение, нейрон посылает одиночный импульс, и его значение падает до уровня ниже среднего за 2–30 мс (аналог реабилитационного процесса в биологических нейронах, так называемый рефрактерный период). При выходе из равновесия потенциал нейрона плавно начинает стремиться к среднему значению.

В целом глубокое обучение очень похоже на процесс обучения человека и имеет поэтапный процесс абстракции. Каждый слой будет иметь свой «весовой коэффициент», и этот вес отражает то, что было известно о компонентах изображений. Чем выше уровень слоя, тем более конкретными являются компоненты. Подобно человеческому мозгу, исходный сигнал в глубоком обучении проходит дальше через уровни обработки, от частичного понимания (поверхностного) до общей абстракции (глубокой), где он может воспринимать объект.

Важной частью создания и обучения нейронных сетей также является понимание и применение когнитивной науки. Это сфера, изучающая сознание и процессы в нем, сочетая в себе элементы философии, психологии, лингвистики, антропологии и нейробиологии. Многие ученые считают, что создание искусственного интеллекта - это просто еще один способ применения когнитивной науки, демонстрирующий, как можно моделировать человеческое мышление в машинах. Ярким примером когнитивной науки является модель принятия решений Канемана, определяющая, как человек делает выбор в любой момент - сознательно или нет (теперь часто используется в маркетинговом ИИ).

На данный момент самые большие проблемы при использовании глубокого обучения лежат в области понимания языка и ведения диалогов - системы должны научиться оперировать абстрактными значениями, которые описываются семантически (творчество и понимание смысла речи). И все же, несмотря на быстрое развитие этой области, человеческий мозг по-прежнему считается самым совершенным «устройством» среди нейронных сетей: 100 триллионов синаптических соединений, организованных в самую сложную архитектуру.
Хотя ученые считают, что в ближайшие полвека (прогнозы сильно разнятся - от 10 до 100 лет) Вселенная сможет сделать шаг в сторону искусственных нейронных сетей, превосходящих возможности человека.


6. Оптимизация гормонов

Есть некоторые свидетельства того, что повышение гормонального фона может вызывать синаптогенез. В частности, повышение уровня тестостерона у мужчин может способствовать образованию новых синапсов, тогда как повышение уровня эстрадиола и прогестерона у женщин может иметь такой же эффект. Некоторые исследования показывают, что снижение выработки различных половых гормонов может подавлять синаптогенез.

Эстрадиол : Исследователям известно, что эстрадиол увеличивает синаптическую пластичность в области гиппокампа самок крыс. В исследовании, опубликованном в 2013 году, сообщалось, что снижение уровня эстрадиола привело к потере синапсов. Повышение уровня эстрадиола увеличивает образование синапсов в гиппокампе женщин. Считается, что подавление выработки эстрадиола у мужчин не влияет на синаптогенез.

Прогестерон : В исследовании, проведенном на крысах, введение прогестерона включало синаптогенез в определенной области гиппокампа. Этот синаптогенез помог крысам восстановиться после инсульта (глобальная церебральная ишемия).

Тестостерон : На основании исследования, посвященного анализу эффектов введения тестостерона на животных моделях с рассеянным склерозом (РС), тестостерон усиливает синаптогенез. Это также помогло сохранить нейроны в коре головного мозга мышей. Увеличение синаптогенеза было связано с улучшением возбуждающей синаптической функции, которая способствует когнитивной функции. Считалось, что индуцированный тестостероном синаптогенез улучшает пространственную память и скорость обработки информации.

  • Источник: http://www.ncbi.nlm.nih.gov/pubmed/3978452
  • Источник: http://www.ncbi.nlm.nih.gov/pubmed/21308798
  • Источник: http://www.ncbi.nlm.nih.gov/pubmed/23873366
  • Источник: http://www.ncbi.nlm.nih.gov/pubmed/22956822
  • Источник: http://www.ncbi.nlm.nih.gov/pubmed/25926772

Новый опыт улучшает обучение, сбрасывая ключевые мозговые цепи

Исследование пространственного обучения на мышах показывает, что воздействие нового опыта ослабляет устоявшиеся представления в гиппокампе и префронтальной коре головного мозга, позволяя мышам изучать новые стратегии навигации. Исследование, опубликованное в Природа, был поддержан Национальным институтом здоровья.

«Способность гибко учиться в новых ситуациях позволяет адаптироваться к постоянно меняющемуся миру», - отметил Джошуа А. Гордон, доктор медицинских наук, старший автор исследования и директор Национального института психического здоровья. , часть NIH. «Понимание нейронной основы этого гибкого обучения у животных дает нам представление о том, как этот тип обучения может быть нарушен у людей».

Доктор Гордон руководил исследовательским проектом вместе с Джозефом А. Гогосом, доктором медицины, доктором философии, и Александром З. Харрисом, доктором медицины, доктором философии, оба из Колумбийского университета в Нью-Йорке.

Всякий раз, когда мы сталкиваемся с новой информацией, эта информация должна быть объединена в стабильную, долговечную память, чтобы мы могли вспомнить ее позже. Ключевым механизмом в этом процессе консолидации памяти является долговременная потенциация, которая представляет собой постоянное укрепление нейронных связей, основанное на недавних моделях активности. Хотя это укрепление нейронных связей может быть постоянным, оно не может быть постоянным, иначе мы не сможем обновлять представления в памяти для размещения новой информации. Другими словами, наша способность запоминать новый опыт и извлекать уроки из него зависит от надежного и гибкого кодирования информации.

Чтобы понять конкретные нейронные механизмы, которые делают эту пластичность возможной, исследовательская группа под руководством Алан Дж. Парк, доктор философии из Колумбии, изучила пространственное обучение у мышей.

Пространственное обучение зависит от ключевой цепи между вентральным гиппокампом (структура, расположенная в середине мозга) и медиальной префронтальной корой (расположенной сразу за лбом). Связь между этими структурами мозга усиливается в процессе пространственного обучения. Однако, если подключение остается на максимальном уровне, это ухудшает последующую адаптацию к новым задачам и правилам. Исследователи предположили, что знакомство с новым опытом может служить триггером окружающей среды, который ослабляет установившуюся гиппокампально-префронтальную связь, обеспечивая гибкое пространственное обучение.

В первом задании исследователи научили мышей перемещаться по лабиринту определенным образом, чтобы получить награду. Некоторым мышам было позволено исследовать пространство, которое они раньше не видели, в то время как другим было позволено исследовать знакомое пространство. Затем мыши выполняли вторую пространственную задачу, которая требовала, чтобы они переключились на новую стратегию навигации, чтобы получить вознаграждение.

Как и ожидалось, сначала все мыши предпочли исходную стратегию навигации. Но мыши, которые исследовали новое пространство, постепенно преодолели эту предвзятость и успешно освоили новую стратегию навигации примерно на полпути через 40 пробных тренировок. Когда исследователи снова протестировали подмножество мышей на первом задании, они обнаружили, что мыши, подвергшиеся воздействию новизны, смогли вернуться к исходной стратегии, что указывает на то, что они обновили и выбрали свою стратегию в соответствии с требованиями задачи.

Дополнительные результаты показали, что эффект новизны распространяется не только на новые пространства: встреча с новыми мышами перед вторым заданием также способствует усвоению новой стратегии вознаграждения.

Изменения мозговой активности на протяжении тренировки выявили нейронные механизмы, которые управляют этим улучшенным обучением. У грызунов в гиппокампе имеется четко выраженный паттерн возбуждения, известный как тета-волна, который, как считается, играет центральную роль в обучении и памяти. Когда Парк и соавторы исследовали записи из вентрального гиппокампа, они обнаружили, что тета-волна усилилась во время исследования новой арены, и час, следующий за тета-волной, уменьшился по мере того, как мыши познакомились с ареной в течение следующих двух дней. Исследователи обнаружили, что воздействие новизны также нарушило кодирование исходной стратегии навигации, реорганизовав схему возбуждения отдельных нейронов вентрального гиппокампа, чтобы привести их в синхронизм с тета-волной.

В то же время нейроны медиальной префронтальной коры показали снижение синхронности тета-волн, а корреляции между активностью гиппокампа и префронтальной активностью ослабли. Эти и другие результаты предполагают, что воздействие новизны ослабило синаптические связи между вентральным гиппокампом и медиальной префронтальной корой, перезагружая цепь, чтобы обеспечить последующее усиление связности, связанной с обучением.

Запуская этот сброс, новизна, по-видимому, облегчает обновление стратегии в соответствии с конкретной структурой вознаграждения за задачу. Анализ машинного обучения показал, что после выявления новизны нейроны вентрального гиппокампа переключили кодирование со стратегии, которая предсказывала вознаграждение за первую задачу, на стратегию, которая предсказывала вознаграждение за вторую задачу. Затем информация о конкретной задаче передавалась в медиальные префронтальные нейроны, которые соответствующим образом обновляли кодировку.

На химическом уровне нейромедиатор дофамин действует как ключевой медиатор этой пластичности. Несколько экспериментов показали, что активация дофаминовых D1-рецепторов в вентральном гиппокампе приводит к новым эффектам, включая ослабление гиппокампально-префронтальной связи и улучшение обучения. Блокирование D1-рецепторов предотвратило эти вызванные новизной эффекты.

Вместе эти открытия проливают свет на некоторые механизмы мозга, которые играют роль в гибком кодировании информации.

«Наше исследование указывает на новизну как на один из способов запустить сброс схемы, который облегчает пространственное обучение мышей», - сказал Парк. «Следующий шаг - опираться на эти открытия и исследовать, играет ли новизна аналогичную роль в человеческой памяти и обучении».

О Национальном институте психического здоровья (NIMH): Миссия NIMH - преобразовать понимание и лечение психических заболеваний посредством фундаментальных и клинических исследований, прокладывая путь к профилактике, восстановлению и лечению. Для получения дополнительной информации посетите веб-сайт NIMH.

О Национальных институтах здоровья (NIH): NIH, национальное медицинское исследовательское агентство, включает 27 институтов и центров и является составной частью Министерства здравоохранения и социальных служб США. NIH является основным федеральным агентством, проводящим и поддерживающим фундаментальные, клинические и трансляционные медицинские исследования, а также изучающим причины, методы лечения и способы лечения как распространенных, так и редких заболеваний. Для получения дополнительной информации о NIH и его программах посетите www.nih.gov.

NIH & hellip Превращение открытий в здоровье ®

Использованная литература

Парк, А. Дж., Харрис, А. З., Мартынюк, К. М., Чанг, Ч.-Й., Аббас, А. И., Лоус, Д. К., Келлендонк, К., Гогос, Дж. А., и Гордон, Дж. А. (2021). Сброс гиппокампально-префронтальной схемы облегчает обучение. Природа. DOI: 10.1038 / s41586-021-03272-1


Нейроны, потенциалы действия и синапсы

Нейроны - это основные клеточные единицы, составляющие нервную систему. У человека около 100 миллиардов нейронов. Отдельный нейрон обычно состоит из сомы (тела клетки), дендритов и аксона.

Сома содержит ядро ​​клетки (где хранится ее ДНК) и служит для производства белков, необходимых для функционирования нейрона.

От сомы отходят дендриты, которые представляют собой ветвистые структуры, которые образуют связи с другими нейронами, от которых они получают и обрабатывают электрические сигналы. Наконец, аксон выступает из другого конца сомы и, в свою очередь, служит для производства и передачи электрического сигнала другим нейронам.

Каждый нейрон обычно содержит только один аксон, хотя структура может быть разветвленной после первоначальной проекции из сомы (Woodruff, 2019).

Электрические сигналы, переносимые аксонами и передаваемые дендритам, называются потенциалы действия. По сути, нейроны - это электрические устройства - они содержат каналы, которые позволяют положительным и отрицательным ионам проходить извне внутрь клетки или наоборот, что создает электрический потенциал по отношению к мембране клетки (барьер вокруг внешней стороны клетки). ).

По умолчанию (когда нейроны находятся в состоянии покоя) внутри клетки отрицательный заряд больше, чем снаружи, что приводит к мембранному потенциалу покоя -70 милливольт. Однако этот электрический потенциал постоянно изменяется в ответ на сигналы от других ячеек, которые заставляют ионы течь внутрь или из ячейки.

Некоторые из этих входов являются «возбуждающими», что означает, что они делают мембранный потенциал клетки менее отрицательным (например, заставляя положительные ионы течь в клетку), в то время как другие являются «тормозящими», что означает, что они делают мембрану клетки более отрицательной. .

Если нейрон получает достаточно возбуждающих входов и не слишком много тормозных входов, его мембранный потенциал превысит так называемый «порог потенциала действия» (примерно -50 милливольт), и возникнет потенциал действия.

Электрически потенциалы действия - это короткие, но резкие скачки мембранного потенциала нейрона. Фактически, нейробиологи часто называют потенциалы действия просто «шипами».

Когда мембранный потенциал нейрона превышает порог потенциала действия, он запускает открытие так называемых потенциалозависимых натриевых каналов, которые позволяют положительно заряженным ионам натрия проходить в клетку.

Это приводит к тому, что мембранный потенциал клетки быстро становится более положительным, что приводит к всплеску. Затем этот сигнал быстро распространяется по длине аксона нейрона, потому что сам спайк заставляет открываться и более узкие, управляемые по напряжению, натриевые каналы - и так далее, и тому подобное.

Наконец, потенциал действия достигает конца аксона, и нейрон передает этот сигнал другим нейронам.

Нейроны общаются друг с другом через структуры, называемые синапсами. Одиночный синапс состоит из пресинаптического терминала, синаптической щели и постсинаптического терминала.

Как только потенциал действия достигает конца аксона нейрона, он достигает пресинаптического конца, который вызывает высвобождение нейротрансмиттеров из клетки. Эти нейротрансмиттеры попадают в синаптическую щель, небольшой (20-40 нм) промежуток между пре- и постсинаптическим окончаниями.

Затем нейротрансмиттеры проходят через синаптическую щель и активируют рецепторы нейротрансмиттеров на постсинаптическом окончании. Когда эти рецепторы активируются, они заставляют положительные или отрицательные ионы поступать в постсинаптический нейрон, что приводит к возбуждению или торможению соответственно.

Когда нейротрансмиттеры воздействуют на рецепторы, заставляя положительные ионы течь в постсинаптический нейрон, это называется возбуждением, потому что нейрон приближается к своему порогу потенциала действия и, следовательно, с большей вероятностью сработает.

И наоборот, когда нейротрансмиттеры действуют на рецепторы, заставляя отрицательные ионы течь в постсинаптический нейрон, это называется торможением, потому что нейрон отодвигается дальше от своего порогового значения потенциала действия и, следовательно, с меньшей вероятностью сработает.

В результате некоторые нейротрансмиттеры называют возбуждающими нейротрансмиттерами (поскольку их действие на рецепторы вызывает возбуждение), а другие называют тормозными нейротрансмиттерами.

Общие возбуждающие нейротрансмиттеры включают глутамат и дофамин, общие тормозные нейротрансмиттеры включают ГАМК и глицин. Некоторые нейротрансмиттеры, такие как серотонин, могут быть возбуждающими или тормозящими, в зависимости от типа рецептора, на который они действуют.


Почему человеческий мозг настолько эффективен?

Мозг человека сложен: он состоит из примерно 100 миллиардов нейронов, образующих порядка 100 триллионов соединений. Его часто сравнивают с другой сложной системой, обладающей огромной способностью решать проблемы: цифровым компьютером. И мозг, и компьютер содержат большое количество элементарных единиц - нейронов и транзисторов, соответственно, - которые объединены в сложные схемы для обработки информации, передаваемой электрическими сигналами. На глобальном уровне архитектуры мозга и компьютера похожи друг на друга, состоящие в значительной степени из отдельных цепей для ввода, вывода, центральной обработки и памяти. 1

Что обладает большей способностью решать проблемы - мозг или компьютер? Учитывая стремительный прогресс компьютерных технологий в последние десятилетия, можно подумать, что компьютер имеет преимущество. Действительно, компьютеры были созданы и запрограммированы, чтобы побеждать человеческих мастеров в сложных играх, таких как шахматы в 1990-х годах и недавно го, а также в конкурсах энциклопедических знаний, таких как телешоу. Опасность! Однако на момент написания этой статьи люди одерживают победу над компьютерами в многочисленных реальных задачах - от идентификации велосипеда или конкретного пешехода на многолюдной городской улице до достижения чашки чая и плавного подноса ее к губам - не говоря уже о концептуализации. и творчество.

Так почему же компьютер лучше справляется с некоторыми задачами, а мозг - с другими? Сравнение компьютера и мозга было поучительным как для компьютерных инженеров, так и для нейробиологов. Это сравнение началось на заре современной компьютерной эры в небольшой, но содержательной книге под названием Компьютер и мозгДжона фон Неймана, эрудита, который в 1940-х годах первым разработал компьютерную архитектуру, которая до сих пор является основой большинства современных компьютеров. 2 Давайте посмотрим на некоторые из этих сравнений в цифрах (таблица 1).

Компьютер имеет огромное преимущество перед мозгом в скорости выполнения основных операций. 3 Сегодня персональные компьютеры могут выполнять элементарные арифметические операции, такие как сложение, со скоростью 10 миллиардов операций в секунду. Мы можем оценить скорость элементарных операций в мозгу по элементарным процессам, посредством которых нейроны передают информацию и общаются друг с другом. Например, нейроны «запускают» потенциалы действия - всплески электрических сигналов, инициируемых рядом с телами нейронных клеток и передаваемых по их длинным отросткам, называемым аксонами, которые связываются со своими нижележащими партнерскими нейронами. Информация закодирована в частоте и времени этих всплесков. Самая высокая частота срабатывания нейронов составляет около 1000 импульсов в секунду. В качестве другого примера, нейроны передают информацию своим партнерским нейронам в основном путем высвобождения химических нейротрансмиттеров в специализированных структурах на окончаниях аксонов, называемых синапсами, а их партнерские нейроны преобразуют связывание нейротрансмиттеров обратно в электрические сигналы в процессе, называемом синаптической передачей. Самая быстрая синаптическая передача занимает около 1 миллисекунды. Таким образом, как с точки зрения спайков, так и синаптической передачи мозг может выполнять не более тысячи основных операций в секунду, что в 10 миллионов раз медленнее, чем компьютер. 4

Компьютер также имеет огромные преимущества перед мозгом в точности выполнения основных операций. Компьютер может представлять величины (числа) с любой желаемой точностью в соответствии с битами (двоичными цифрами или 0 и 1), присвоенными каждому числу. Например, 32-битное число имеет точность 1 из 232 или 4,2 миллиарда. Эмпирические данные показывают, что большинство величин нервной системы - например, частота возбуждения нейронов, которая часто используется для представления интенсивности стимулов - имеют вариабельность в несколько процентов из-за биологического шума или с точностью до 1 дюйма. В лучшем случае 100, что в миллионы раз хуже, чем у компьютера. 5

Профессиональный теннисист может следить за траекторией мяча, подаваемого на скорости до 160 миль в час.

Однако вычисления, производимые мозгом, не являются ни медленными, ни неточными. Например, профессиональный теннисист может проследить траекторию теннисного мяча после того, как он будет подан на скорости 160 миль в час, переместиться в оптимальное место на корте, расположить свою руку и повернуть ракетку в нужное положение. вернуть мяч на площадку соперника в течение нескольких сотен миллисекунд. Более того, мозг может выполнять все эти задачи (с помощью контролируемого им тела) с потреблением энергии примерно в десять раз меньше, чем персональный компьютер. Как мозг достигает этого? Важное различие между компьютером и мозгом - это способ обработки информации в каждой системе. Компьютерные задачи выполняются в основном последовательными шагами. This can be seen by the way engineers program computers by creating a sequential flow of instructions. For this sequential cascade of operations, high precision is necessary at each step, as errors accumulate and amplify in successive steps. The brain also uses serial steps for information processing. In the tennis return example, information flows from the eye to the brain and then to the spinal cord to control muscle contraction in the legs, trunk, arms, and wrist.

But the brain also employs massively parallel processing, taking advantage of the large number of neurons and large number of connections each neuron makes. For instance, the moving tennis ball activates many cells in the retina called photoreceptors, whose job is to convert light into electrical signals. These signals are then transmitted to many different kinds of neurons in the retina in parallel. By the time signals originating in the photoreceptor cells have passed through two to three synaptic connections in the retina, information regarding the location, direction, and speed of the ball has been extracted by parallel neuronal circuits and is transmitted in parallel to the brain. Likewise, the motor cortex (part of the cerebral cortex that is responsible for volitional motor control) sends commands in parallel to control muscle contraction in the legs, the trunk, the arms, and the wrist, such that the body and the arms are simultaneously well positioned to receiving the incoming ball.

This Is Your Brain on Silence

One icy night in March 2010, 100 marketing experts piled into the Sea Horse Restaurant in Helsinki, with the modest goal of making a remote and medium-sized country a world-famous tourist destination. The problem was that Finland was known as. ПОДРОБНЕЕ

This massively parallel strategy is possible because each neuron collects inputs from and sends output to many other neurons—on the order of 1,000 on average for both input and output for a mammalian neuron. (By contrast, each transistor has only three nodes for input and output all together.) Information from a single neuron can be delivered to many parallel downstream pathways. At the same time, many neurons that process the same information can pool their inputs to the same downstream neuron. This latter property is particularly useful for enhancing the precision of information processing. For example, information represented by an individual neuron may be noisy (say, with a precision of 1 in 100). By taking the average of input from 100 neurons carrying the same information, the common downstream partner neuron can represent the information with much higher precision (about 1 in 1,000 in this case). 6

The computer and the brain also have similarities and differences in the signaling mode of their elementary units. The transistor employs digital signaling, which uses discrete values (0s and 1s) to represent information. The spike in neuronal axons is also a digital signal since the neuron either fires or does not fire a spike at any given time, and when it fires, all spikes are approximately the same size and shape this property contributes to reliable long-distance spike propagation. However, neurons also utilize analog signaling, which uses continuous values to represent information. Some neurons (like most neurons in our retina) are nonspiking, and their output is transmitted by graded electrical signals (which, unlike spikes, can vary continuously in size) that can transmit more information than can spikes. The receiving end of neurons (reception typically occurs in the dendrites) also uses analog signaling to integrate up to thousands of inputs, enabling the dendrites to perform complex computations. 7

Your brain is 10 million times slower than a computer.

Another salient property of the brain, which is clearly at play in the return of service example from tennis, is that the connection strengths between neurons can be modified in response to activity and experience—a process that is widely believed by neuroscientists to be the basis for learning and memory. Repetitive training enables the neuronal circuits to become better configured for the tasks being performed, resulting in greatly improved speed and precision.

Over the past decades, engineers have taken inspiration from the brain to improve computer design. The principles of parallel processing and use-dependent modification of connection strength have both been incorporated into modern computers. For example, increased parallelism, such as the use of multiple processors (cores) in a single computer, is a current trend in computer design. As another example, “deep learning” in the discipline of machine learning and artificial intelligence, which has enjoyed great success in recent years and accounts for rapid advances in object and speech recognition in computers and mobile devices, was inspired by findings of the mammalian visual system. 8 As in the mammalian visual system, deep learning employs multiple layers to represent increasingly abstract features (e.g., of visual object or speech), and the weights of connections between different layers are adjusted through learning rather than designed by engineers. These recent advances have expanded the repertoire of tasks the computer is capable of performing. Still, the brain has superior flexibility, generalizability, and learning capability than the state-of-the-art computer. As neuroscientists uncover more secrets about the brain (increasingly aided by the use of computers), engineers can take more inspiration from the working of the brain to further improve the architecture and performance of computers. Whichever emerges as the winner for particular tasks, these interdisciplinary cross-fertilizations will undoubtedly advance both neuroscience and computer engineering.

Liqun Luo is a professor in the School of Humanities and Sciences, and professor, by courtesy, of neurobiology, at Stanford University.

The author wishes to thank Ethan Richman and Jing Xiong for critiques and David Linden for expert editing.

By Liqun Luo, as published in Think Tank: Forty Scientists Explore the Biological Roots of Human Experience, edited by David J. Linden, and published by Yale University Press.

1. This essay was adapted from a section in the introductory chapter of Luo, L. Principles of Neurobiology (Garland Science, New York, NY, 2015), with permission.

2. von Neumann, J. The Computer and the Brain (Yale University Press, New Haven, CT, 2012), 3rd ed.

3. Patterson, D.A. & Hennessy, J.L. Computer Organization and Design (Elsevier, Amsterdam, 2012), 4th ed.

4. The assumption here is that arithmetic operations must convert inputs into outputs, so the speed is limited by basic operations of neuronal communication such as action potentials and synaptic transmission. There are exceptions to these limitations. For example, nonspiking neurons with electrical synapses (connections between neurons without the use of chemical neurotransmitters) can in principle transmit information faster than the approximately one millisecond limit so can events occurring locally in dendrites.

5. Noise can reflect the fact that many neurobiological processes, such as neurotransmitter release, are probabilistic. For example, the same neuron may not produce identical spike patterns in response to identical stimuli in repeated trials.

6. Suppose that the standard deviation of mean (σmean) for each input approximates noise (it reflects how wide the distribution is, in the same unit as the mean). For the average of п independent inputs, the expected standard deviation of means is σmean = σ / √•п. In our example, σ = 0.01, and п = 100 thus σmean = 0.001.

7. For example, dendrites can act as coincidence detectors to sum near synchronous excitatory input from many different upstream neurons. They can also subtract inhibitory input from excitatory input. The presence of voltage-gated ion channels in certain dendrites enables them to exhibit “nonlinear” properties, such as amplification of electrical signals beyond simple addition.

8. LeCun, Y. Bengio, Y., & Hinton, G. Deep learning. Природа 521, 436–444 (2015).


How Synaptic Pruning Forms Neural Networks

Unused synapses are pruned, which increases the effectiveness of the more commonly used neural circuits. This is how synaptic pruning helps the formation and connections of other more commonly used neural networks. It’s a little bit like throwing out old clothes in your closet that you never wear so you’ve got more space for your favourite clothes you wear all the time. Or, it’s like deleting old apps from your phone so the ones you do use run faster.

Synaptic pruning happens most during adolescence, especially the thinning of серый иметь значение in the outer layer of the brain (the cortex). Grey matter is made from the synaptic connections, cell bodies and dendrites – the stuff that makes the neural networks. The pruning helps to improve our cognition and maybe even our IQ because it strengthens other networks. In fact, one study found that children with a faster development of frontal lobe grey matter (compared with other kids) had higher IQs and this grey matter was also pruned faster than other kids (Shaw et al. 2006 link).

A graph showing the grey matter development in adolescents from Sara-Jayne Blakemore’s excellent TED Talk (Source: TED/YouTube). Link: https://www.youtube.com/watch?v=6zVS8HIPUng)

Synaptic pruning is like deleting old apps from your phone so the ones you do use can run faster.

Synaptic pruning can be studied by observing changes in grey matter in the brain using MRI scanners. Grey matter in the brain consists of cell bodies, dendrites and synapses. The more grey matter, the more synaptic connections and neural networks. The less grey matter, the fewer synapses. Therefore, measuring changes in grey matter can show the synaptic pruning process. This is especially true for adolescents (teenagers) because synaptic pruning occurs mostly during this stage. In later adult life, there may be other explanations for decreases in grey matter (e.g. diseases like Alzheimer’s).


Reward-predicting stimuli

Dopamine neurons acquire responses to reward-predicting visual and auditory conditioned stimuli (CS). The responses covary with the expected value of reward, irrespective of spatial position, sensory stimulus attributes and arm, mouth and eye movements ( Figure 6). The responses are modulated by the motivation of the animal, the time course of predictions and the animal’s choice among rewards (Satoh et al. 2003, Nakahara et al. 2004, Morris et al. 2006). Although discriminating between reward-predicting CSs and neutral stimuli, dopamine activations have a non-negligible propensity for generalization (Waelti et al. 2001).

During the course of learning, the dopamine response to the reward decreases gradually, and a response to the immediately preceding CS develops in parallel. The gradual, opposite changes in US and CS responses do not involve backpropagating waves of prediction error (Pan et al 2005) assumed in earlier reinforcement models (Montague et al. 1996, Schultz et al. 1997) and are modelled in a biologically plausible manner as teaching signals for behavioral tasks, including Pavlovian conditioning, spatial delayed responding and sequential movements (Suri & Schultz 1999 Izhikevich 2007). These changes are compatible with Pavlovian response transfer and basic principles of temporal difference learning (TD) and suggest the presence of eligibility traces as an essential feature of reward learning.

Activations do not occur when the CS is predicted within a few seconds by another well trained stimulus. This observation conforms to basic assumptions of TD models. As it is often difficult to determine whether rewards are 'primary' or conditioned (Wise 2002), TD models do not make this distinction and assume that CSs can act as reinforcers and elicit prediction errors just as rewards do (Sutton & Barto 1998). Accordingly a dopamine CS response would reflect an error in the prediction of this CS (Suri & Schultz 1999).

Physically intense, unrewarded stimuli induce a short, initial activation in dopamine neurons (Fiorillo et al. 2013b), which is enhanced by stimulus novelty (Schultz & Romo 1987, Horvitz et al. 1997, Ljungberg et al. 1992), generalisation to physically similar rewarded stimuli (Mirenowicz & Schultz 1996, Waelti et al. 2001, Tobler et al. 2003), and reward context (Kobayashi & Schultz 2014). This initial component reflects the detection of the stimulus before identification of its properties and reward value (Nomoto et al. 2010, Fiorillo et al. 2013b). Its intensity is graded across the ventral midbrain without clear category boundaries (Fiorillo et al. 2013a). The initial component occurs sometimes also with aversive stimuli, such as air puffs, aversive liquids or footshocks (Mirenowicz & Schultz 1996, Brischoux et al. 2009, Matsumoto & Hikosaka 2009), but careful controls reveal relationships to physical rather than aversive stimulus properties (Fiorillo et al. 2013b). Thus, the activations of some dopamine neurons by noxious stimuli do not seem to reflect aversive but physical stimulus properties. The more common dopamine response to aversive stimuli is depression of activity. Thus, the dopamine activation consists of an early component reflecting stimulus detection, and a subsequent component coding reward prediction error.


What is the reward system and what does it do?

In the 1950s, James Olds and Peter Milner implanted electrodes in the brains of rats and allowed the animals to press a lever to receive a mild burst of electrical stimulation to their brains. Olds and Milner discovered that there were certain areas of the brain that rats would repeatedly press the lever to receive stimulation to. They found a region known as the septal area, which lies just below the front end of the corpus callosum, to be the most sensitive. One of the rats in their experiment pressed a lever 7500 times in 12 hours to receive electrical stimulation here.

Watch this 2-Minute Neuroscience video to learn more about the reward system.

Olds and Milner's experiments were significant because they appeared to verify the existence of brain structures that are devoted to mediating rewarding experiences. For, if the rats were lever-pressing repeatedly to receive stimulation to these areas, it suggested they were enjoying the experience. Subsequent studies attempted to more thoroughly map out these "reward areas," and it was discovered that some of the most sensitive areas are situated along the medial forebrain bundle. The medial forebrain bundle is a large collection of nerve fibers that travels between the VTA and the lateral hypothalamus, making many other connections along the way. Some areas of the medial forebrain bundle were found to be so sensitive that rats would choose receiving stimulation to them over food or sex.

Eventually it was recognized that dopamine neurons are activated during this type of rewarding brain stimulation, and researchers found that they could cause rats to stop lever pressing by administering a dopamine antagonist (a drug that blocks the effects of dopamine). In other words, without the activity of dopamine the rats were less likely to find brain stimulation reinforcing, and so they stopped pressing the lever altogether. Other evidence, such as the discovery that dopamine antagonists seemed to reduce the rewarding qualities of drugs like amphetamines, further supported the importance of dopamine's role in reward.

Based on brain stimulation experiments and the increasingly recognized importance of dopamine in reward, attention began to turn toward major dopamine pathways as playing an important part in mediating rewarding experiences. The medial forebrain bundle connects the dopamine-rich VTA with the nucleus accumbens and is considered part of the mesolimbic dopamine pathway. It eventually became recognized that, when we use an addictive drug or experience something otherwise rewarding, dopamine neurons in the VTA are activated. These neurons project to the nucleus accumbens via the mesolimbic dopamine pathway, and their activation causes dopamine levels in the nucleus accumbens to rise. Furthermore, disrupting this pathway in rodents that had become addicted to pressing a lever for brain stimulation or a drug reward caused them to stop lever-pressing, suggesting these areas are crucially important to the occurrence of addictive behavior.

As the mesolimbic dopamine pathway is activated whenever we use an addictive drug, it has come to be considered the primary pathway of the reward system. However, dopaminergic projections from the VTA travel to the frontal cortex as well they comprise the mesocortical dopamine pathway. These fibers are also thought to be involved in reward and motivation, although their contribution to rewarding experiences is less clear than that of the mesolimbic pathway.

It's important to note that since the earliest research on the reward system our perspective on dopamine's role in reward has changed slightly. At one time dopamine was considered to be the neurotransmitter responsible for causing the experience of pleasure, but it is now thought to be involved with aspects of reward other than the direct experience of enjoyment. While the details are still being worked out, some have suggested dopamine is involved in encoding memories about a reward (e.g. how to get it, where it was obtained) and attributing importance to environmental stimuli that are associated with the reward.

While the reward system is implicated in pleasurable and potentially addictive behaviors, the substrates of pleasure are not confined to the structures mentioned above and dopamine is not the only neurotransmitter involved. The reward system refers to a group of structures that seem to be frequently involved in mediating rewarding experiences, but the actual network dedicated to creating the feelings we associate with these experiences is likely more complex.

References (in addition to linked text above):

Wise RA (1998). Drug-activation of brain reward pathways. Drug and alcohol dependence, 51(1-2): 13-22.

Watch this 2-Minute Neuroscience video to learn more about the ventral tegmental area and this 2-Minute Neuroscience video to learn more about the nucleus accumbens.


Смотреть видео: Программируйте мозг пока Вы спите (January 2022).