Уведомления или звон электронного письма могут вызвать волнение — или ужас. В знаменитом эксперименте Иван Павлов (на фото) показал, что собак можно научить выделять слюну при тиканье метронома или звуке фисгармонии. Эта связь причины и следствия, известная как ассоциативное или подкрепляющее обучение, имеет центральное значение для того, как большинство животных взаимодействуют с миром.
С начала 1970-х годов доминирующей теорией происходящего было то, что животные учатся методом проб и ошибок. Связывание сигнала (метронома) с вознаграждением (едой) происходит следующим образом. Когда приходит сигнал, животное предсказывает, когда произойдет вознаграждение. Затем он ждет, чтобы увидеть, что произойдет. После этого он вычисляет разницу между прогнозом и результатом — ошибку. Наконец, он использует эту оценку ошибок для обновления данных, чтобы делать более точные прогнозы в будущем.
Вера в этот подход сама по себе была подкреплена в конце 20-го века двумя вещами. Одним из них стало открытие, что он также хорош при решении инженерных задач, связанных с искусственным интеллектом (ии). Глубокие нейронные сети учатся, сводя к минимуму ошибки в своих прогнозах.
Другим подкрепляющим наблюдением была статья, опубликованная в Science в 1997 году. В нем отмечалось, что колебания уровней в мозге дофамина, химического вещества, которое передает сигналы между некоторыми нервными клетками и, как известно, связано с опытом вознаграждения, выглядят как сигналы ошибки прогнозирования. Клетки, вырабатывающие дофамин, становятся более активными, когда вознаграждение приходит раньше, чем ожидалось, или вообще не ожидается, и тормозятся, когда вознаграждение приходит позже или вообще не приходит - именно то, что произошло бы, если бы они действительно были такими сигналами.
Итак, хорошая история о том, как работает наука. Но если новая статья, также опубликованная в Science, окажется правильной, это неправильно.
Исследователям давно известно, что некоторые аспекты активности дофамина несовместимы с моделью ошибок прогнозирования. Но, отчасти потому, что она так хорошо работает для обучения искусственных агентов, эти проблемы были замалчиваемы. До сих пор. Новое исследование, проведенное Хуэйчжон Чжонгом и Виджаем Намбудири из Калифорнийского университета в Сан-Франциско и группой сотрудников, перевернуло мир нейробиологии с ног на голову. В нем предлагается модель ассоциативного обучения, которая предполагает, что исследователи все перевернули. Более того, их предположение подтверждается множеством экспериментов.
Старая модель смотрит вперед, связывая причину со следствием. Новая модель делает обратное. Она связывает следствие с причиной. Они думают, что, когда животное получает награду (или наказание), оно просматривает свою память, чтобы понять, что могло вызвать это событие. Роль дофамина в модели заключается в том, чтобы отмечать события, достаточно значимые, чтобы служить причиной возможных будущих вознаграждений или наказаний.
Такой взгляд на вещи имеет дело с двумя вещами, которые всегда мешали старой модели. Одним из них является чувствительность к временным рамкам. Другой - вычислительная гибкость.
Проблема с временными рамками заключается в том, что причина и следствие могут быть разделены миллисекундами (включение лампочки и появление освещения), минутами (выпивка и ощущение опьянения) или даже часами (съедение чего-то плохого и пищевое отравление).). Оглядываясь назад, объясняет доктор Намбудири, позволяет исследовать сколь угодно длинный список возможных причин. Смотреть вперед, не всегда зная заранее, как далеко смотреть, намного сложнее.
Это приводит ко второй проблеме. Сенсорный опыт богат, и все в нем потенциально может предсказать результат. Делать прогнозы, основанные на каждом возможном сигнале, было бы где-то между трудным и невозможным. Гораздо проще, когда происходит значимое событие, оглянуться назад на другие потенциально значимые события в поисках причины.
Однако на практике трудно провести экспериментальное различие между двумя моделями. И это особенно верно, если вы даже не потрудились посмотреть, чего до сих пор люди не делали. Д-р Чонг и д-р Намбудири сделали это. Они разработали и провели 11 экспериментов с участием мышей, зуммеров и капель сахарного раствора, которые были разработаны специально для этой цели. Во время этого они измеряли в режиме реального времени количество дофамина, выделяемого прилежащим ядром, областью мозга, в которой дофамин участвует в обучении и зависимости. Все эксперименты завершились в пользу новой модели.
Поворот мышления на 180 ° — от перспективного к ретроспективному, — который подразумевается этими экспериментами, вызывает настоящий ажиотаж в мире нейробиологии. Она “заставляет задуматься и представляет собой стимулирующее новое направление”, - говорит Илана Виттен, нейробиолог из Принстонского университета, не участвовавшая в работе.
Для подтверждения новых результатов потребуются дополнительные эксперименты. Но если придет подтверждение, это будет иметь последствия, выходящие за рамки нейробиологии. Это будет означать, что способ работы ии, как утверждается в настоящее время, не имеет даже слабой связи с тем, как работает мозг, но на самом деле это была удачная догадка.
Но это может также предложить лучшие способы создания ии. Доктор Намбудири так считает и изучает возможности. У эволюции были сотни миллионов лет, чтобы оптимизировать процесс обучения. Поэтому учиться у природы редко бывает плохой идеей.
