Песня Pink Floyd, созданная с помощью искусственного интеллекта и сканирования мозга, очень похожа на песню группы

15-секундный аудиоклип звучит как грязная версия песни Pink Floyd, как будто кто-то поет ее под водой. Нельзя отрицать, что слова и ритмы взяты из «Another Brick in the Wall, Part 1» — первой песни в трилогии знаменитого альбома группы 1979 года «The Wall».

Вот только Pink Floyd не исполняли никакой музыки из клипа. Вместо этого трек был создан командой исследователей из Калифорнийского университета в Беркли, которые изучили мозговую активность более двух десятков человек, слушавших песню. Затем эти данные были декодированы с помощью модели машинного обучения и реконструированы в аудио. Это первый раз, когда исследователям удалось воссоздать песню из нейронных сигналов.

Поступая так, ученые надеются когда-нибудь использовать подобную технологию, чтобы помочь пациентам с нарушениями речи общаться с другими, а также собрать больше данных о том, как мозг обрабатывает звук и музыку, согласно исследованию, опубликованному во вторник в научном журнале PLOS Biology .

«Музыка добавляет речи более эмоциональные и мелодичные элементы», — сказал Роберт Найт, нейробиолог из Калифорнийского университета в Беркли и автор исследования. «Поэтому понимание того, как информация обрабатывается в мозгу и как мы можем ее расшифровать, на самом деле похоже на первый кирпич в стене».

Как можно использовать мозговые волны для создания пугающе похожей версии песни Pink Floyd, это процесс, который начался в 2009 году в больнице в Олбани, штат Нью-Йорк. Там 29 пациентов проходили лечение от эпилепсии, а именно, им имплантировали сеть электродов. Их мозг, чтобы определить место приступов, устойчивых к лекарствам, — вызвались записать активность своего мозга во время проигрывания «Еще один кирпич в стене, часть 1».

Казалось бы, обыденное занятие – прослушивание музыки – на самом деле является сложным процессом. Звуки, или, скорее, вибрации, перемещающиеся по воздуху в виде волн, попадают во внутреннее ухо, где преобразуются в электрический сигнал, который отправляется в мозг — орган, работающий на электричестве. Как только звук попадает в мозг, нейроны активизируются в разных его частях, чтобы расшифровать каждый текст, мелодию и ритм.

Электроды, подключенные к мозгу пациентов, позволили ученым понять этот процесс, сказал Найт, который сравнил провода с «клавишами фортепиано».

«Мы пытаемся расшифровать, как эта клавиша фортепиано активируется звуком, который исходит, в данном случае от Pink Floyd», — сказал он. «Итак, теперь у нас есть все эти электроды — около 92 на каждого субъекта исследования — и мы собираем все эти данные, чтобы знать, как каждая музыкальная нота или как ритм в песне Pink Floyd влияет на каждый из этих электродов».

Решение использовать песню Pink Floyd было простым, сказал Найт. По его словам, каждому пациенту, которого они изучали, нравились Pink Floyd. И они выбрали «Another Brick in the Wall, Part 1» вместо более известной части 2, потому что она «немного богаче вокалом и гармониками», добавил Найт.

С 2009 по 2015 год изменения в активности мозга 29 пациентов были преобразованы в массивный набор данных. Но проект был приостановлен почти на десять лет — пока к команде Найта не присоединился новый исследователь с докторской степенью, игравший в группе, и не предложил расшифровать его.

Людовик Беллиер, всю жизнь музыкант, а сейчас старший научный сотрудник биотехнологической компании Inscopix, сказал, что ему очень хотелось возглавить проект, который объединил бы два его увлечения. Начав анализировать кучу данных, он сказал, что обнаружил нечто «совершенно потрясающее»: когда играли 16-е ноты гитарного ритма песни, определенные части височных долей пациентов активировались.

«Такого раньше никогда не видели», — сказал Беллиер.

Они сосредоточились на области мозга, расположенной прямо над ухом и позади нее, которая в основном отвечает за обработку звуков, известной как верхняя височная извилина. Эта область, особенно с правой стороны, была особенно активна, когда пациенты слушали песню Pink Floyd, что может указывать на то, что это место в мозгу отвечает за восприятие ритма, сказал Беллиер.

«Если у вас всего несколько электродов, вам следует разместить их там», — добавил он. «Это наиболее перспективный регион для понимания музыкальной информации».

Затем числа, обработанные Беллиером, были превращены в музыку с помощью искусственного интеллекта — мощной модели машинного обучения, которая учитывала, как мозг реагирует на комбинацию звуковых частот. Паттерны были преобразованы в спектрограмму или визуальное представление частот звука и того, как они изменяются с течением времени, а затем в звуковой файл, который оказался очень напоминающим оригинальную песню Pink Floyd.

По словам Найт и Беллиер, исследование может привести к созданию новых методов лечения тех, кто потерял способность общаться. В то время как ученые добились успехов в разработке машин, которые преобразуют сигналы мозга в вокал, устройства, генерирующие речь, часто имеют роботизированный звук — и новое исследование может помочь изменить это, сказал Найт.

«Музыка с ее сложными и сильными эмоциональными и ритмическими элементами позволит нам добавить этой выразительности», — сказал он.

Исследование, добавил Беллиер, также открывает возможности для создания музыки посредством мысли и прокладывает путь к медицинским приложениям, таким как «клавиатура для разума» или машина, которая могла бы помочь расшифровать слова, которые пациенты хотят сказать.

«Потенциально существует множество клинических применений понимания музыки, помимо того факта, что, знаете ли, это здорово», — сказал Найт.

Выбор песни, добавил он, оказался «правильным выбором», учитывая интерес, который вызвало исследование с момента его публикации.

«Но, возможно, в следующий раз исследование стоит воссоздать с помощью песни Тейлор Свифт», — пошутил он.