В недавнем эксперименте исследователи использовали большие языковые модели для перевода мозговой активности в слова.
Ученые записали данные МРТ трех участников, когда они прослушали 16 часов повествовательных историй, чтобы обучить модель сопоставлять мозговую активность и семантические особенности, которые фиксировали значения определенных фраз и связанную с ними реакцию мозга.
Подумайте о словах, вертящихся у вас в голове: о безвкусной шутке, которую вы мудро придержали при себе за ужином; о вашем невысказанном впечатлении от нового партнера вашего лучшего друга. Теперь представьте, что кто-то мог бы нас подслушать.
В понедельник ученые из Техасского университета в Остине сделали еще один шаг в этом направлении. В исследовании, опубликованном в журнале Nature Neuroscience, исследователи описали искусственный интеллект, который может транслировать личные мысли людей, анализируя снимки МРТ, которые измеряют приток крови к различным областям мозга.
Исследователи уже разработали методы расшифровки языка, чтобы улавливать попытки произнести речь людей, которые потеряли способность говорить, и позволять парализованным людям писать, просто думая о том, чтобы писать. Но новый языковой декодер - один из первых, который не полагается на имплантаты. В ходе исследования он смог превратить воображаемую речь человека в реальную речь, а когда испытуемым показывали немые фильмы, он мог генерировать относительно точные описания того, что происходило на экране.
“Это не просто языковой стимул”, - сказал Александр Хут, нейробиолог из университета, который помогал руководить исследованием. “Мы приближаемся к смыслу, к чему-то, связанному с идеей происходящего. И тот факт, что это возможно, очень волнующий ”.
В центре исследования были три участника, которые приходили в лабораторию доктора Хута на 16 часов в течение нескольких дней, чтобы послушать “The Moth” и другие повествовательные подкасты. Пока они слушали, МРТ-сканер регистрировал уровни насыщения крови кислородом в отдельных частях их мозга. Затем исследователи использовали большую языковую модель, чтобы сопоставить паттерны мозговой активности со словами и фразами, которые слышали участники.
Большие языковые модели, такие как GPT-4 от OpenAI и Bard от Google, обучаются на огромном количестве записей, чтобы предсказать следующее слово в предложении или фразе. В процессе модели создают карты, показывающие, как слова соотносятся друг с другом. Несколько лет назад доктор Хут заметил, что определенные фрагменты этих карт — так называемые контекстные вложения, которые фиксируют семантические особенности, или значения, фраз — могут быть использованы для прогнозирования того, как мозг загорается в ответ на язык.
По сути, сказал Синдзи Нисимото, нейробиолог из Университета Осаки, который не принимал участия в исследовании, “мозговая активность - это своего рода зашифрованный сигнал, и языковые модели предоставляют способы его расшифровки”.
В своем исследовании доктор Хут и его коллеги фактически обратили процесс вспять, используя другой искусственный интеллект для перевода изображений МРТ участника в слова и фразы. Исследователи протестировали декодер, попросив участников прослушать новые записи, а затем посмотреть, насколько близко перевод соответствует фактической расшифровке.
Выбор редакторов
Как песня ‘Beau Is Afraid’ попала к Мэрайе Кэри? У инди есть свои способы.
Превратите свою пасту Примавера в лазанью
Пэт Райли, когда-то бывший в центре внимания, царит на заднем плане
Почти каждое слово было неуместным в расшифрованном сценарии, но смысл отрывка был исправлен. По сути, дешифровщики перефразировали.
Оригинальная стенограмма: “Я встал с надувного матраса и прижался лицом к стеклу окна спальни, ожидая увидеть глаза, пристально смотрящие на меня, но вместо этого обнаружил только темноту”.
Расшифровано по данным “мозговой активности”: "Я просто продолжал подходить к окну и открывать стекло, я встал на цыпочки и выглянул наружу, я ничего не увидел, и снова посмотрел вверх, я ничего не увидел".
Во время сканирования МРТ участников также попросили молча представить, как они рассказывают историю; после этого они повторили историю вслух, для справки. И здесь модель декодирования уловила суть невысказанной версии.
Версия участника: “Ищите сообщение от моей жены, в котором говорится, что она передумала и возвращается”.
Расшифрованная версия: “Чтобы увидеть ее, я почему-то думал, что она придет ко мне и скажет, что скучает по мне”.
Наконец, испытуемые посмотрели короткий немой анимационный фильм, снова во время прохождения МРТ-сканирования. Анализируя активность их мозга, языковая модель могла бы расшифровать приблизительный обзор того, что они смотрели — возможно, их внутреннее описание того, что они смотрели.
Результат позволяет предположить, что ИИ-декодер улавливал не только слова, но и смысл. “Восприятие языка - это процесс, управляемый извне, в то время как воображение - активный внутренний процесс”, - сказал доктор Нисимото. “И авторы показали, что мозг использует общие представления в этих процессах”.
Грета Такут, нейробиолог из Массачусетского технологического института, которая не участвовала в исследовании, сказала, что это “вопрос высокого уровня”.
“Можем ли мы расшифровать смысл, исходящий от мозга?” - продолжила она. “В некотором смысле они показывают, что да, мы можем”.
Доктор Хут и его коллеги отметили, что у этого метода расшифровки языка были ограничения. Во-первых, МРТ-сканеры громоздки и дороги. Более того, обучение модели - это долгий, утомительный процесс, и, чтобы быть эффективным, оно должно проводиться на отдельных людях. Когда исследователи попытались использовать декодер, обученный на одном человеке, для считывания мозговой активности другого, это не удалось, предполагая, что у каждого мозга есть уникальные способы представления смысла.
Участники также смогли скрыть свои внутренние монологи, отключив дешифратор, думая о других вещах. Ии, возможно, сможет читать наши мысли, но пока ему придется читать их по очереди и с нашего разрешения.
