T-Pain снимает свой виртуальный концерт перед зеленым экраном в Калвер-Сити, Калифорния. Концерт выйдет этой осенью на AmazeVR.
В студии в Калвер-Сити, штат Калифорния, T-Pain готовы устроить шоу. Американский рэпер и певец и автор песен, известный популяризацией Auto-Tune своими такими хитами, как «Buy U a Drank» и «Bartender», привык выступать перед тысячами кричащих фанатов. Но сегодня толпы нет; вместо этого это просто T-Pain, съемочная группа и зеленый экран.
Это отход от прошлого, но намек на будущее. T-Pain исполняет песни, которые станут концертом в виртуальной реальности (VR), который будет доставлен непосредственно фанатам через гарнитуры VR.
«Я определенно привык к более масштабным сценам», — говорит T-Pain (настоящее имя Фахим Рашад Наджм) CNN во время интервью на съемочной площадке, добавляя, что он обычно использует обратную связь от толпы, чтобы «действительно получить свою энергию… (так что) это просто намного неловко».
Это не значит, что он не в восторге от этой возможности. «Я просто ботаник», — говорит он, который дома увлекается программами виртуальной реальности и 3D в качестве хобби. Когда AmazeVR, компания, организовавшая в прошлом году первый в мире VR-концертный тур с художницей Меган Ти Жеребец, обратилась к нему с просьбой о сотрудничестве, уроженец Флориды артист был готов попробовать новый опыт.
«Фанаты станут намного ближе», — говорит T-Pain. «Вы можете увидеть разные ракурсы, увидеть другое представление… AmazeVR — это все равно что поместить (меня) в вашу гостиную».
Съемка «идеального» дубля
По данным компании, AmazeVR была основана в 2015 году и за последние четыре года собрала более 50 миллионов долларов, включая недавний рост в декабре после того, как Apple анонсировала свою гарнитуру смешанной реальности Vision Pro.
« (Виртуальная реальность) — это очень большой сдвиг», — говорит Кён Кук Ким, вице-президент и руководитель производства AmazeVR. «Это новый вид среды. Люди к этому не привыкли, но это очень мощно. На самом деле это просто переносит вас прямо в середину любой сцены или любой ситуации».
Процесс виртуального концерта начинается со встречи с артистом, на которой решаются все вопросы: от выбора песни до визуальных эффектов, сценария, гардероба и хореографии. Выступление записывается за один 12-часовой сеанс с использованием стереокамеры 8K и крана с управлением движением.
T-Pain выступает перед камерой во время съемок своего предстоящего VR-концерта.
По словам Кима, собственный искусственный интеллект (ИИ) помогает улучшить качество 3D-видео на этапе постобработки. Комбинация собственного искусственного интеллекта и других платформ, таких как Unreal Engine, используется для создания виртуальной сцены, освещения и спецэффектов.
Пост-продакшн обычно занимает от шести до восьми недель, хотя даты выпуска также совпадают с тем, что подходит отдельным артистам. (AmazeVR сообщает, что планирует запустить концерт T-Pain этой осенью.)
«Самая большая техническая проблема заключается в том, что зритель — это камера», — говорит Лэнс Дрейк, креативный директор компании. «Вместо того, чтобы вырезать или скрывать (части) выступления, это должно быть по-настоящему живое выступление. И зрителю дано разрешение смотреть, куда он хочет – он может смотреть и воспринимать мир, он может смотреть на туфли художника, он может смотреть на лицо художника».
Это означает, что это должен быть «идеальный» сингл, добавляет Дрейк, «поэтому, когда артист выступает на камеру, он выступает перед вами. Когда художник смотрит в камеру, он смотрит в глаза зрителю».
Изучаем опыт виртуальных фанатов
Тем не менее, остается большой вопрос: насколько точно виртуальный концерт может имитировать то, что фанаты любят в живой музыке?
На этот вопрос пытается ответить доктор Мел Слейтер. Исследователь, изучающий мир виртуальной реальности и наш мозг с начала 1990-х годов, Слейтер и его команда недавно провели исследование, используя концерт Dire Straits 1983 года, который Слейтер нашел на YouTube.
«Я подумал: «Хотел бы я пойти на этот концерт… и это натолкнуло меня на идею воспроизвести выступление Dire Straits в виртуальной реальности», — говорит Слейтер, выдающийся исследователь кафедры клинической психологии Университета Барселоны и соавтор.-директор Лаборатории событий (Экспериментальные виртуальные среды для нейробиологии и технологий).
По его словам, его интересовало тестирование нескольких элементов, в том числе того, при каких условиях у людей возникала иллюзия, что они находятся на концерте, и как взять старое 2D-видео и создать новые 3D-элементы.
«Я думал, что это очень невинное исследование: вы отправляете людей на музыкальный концерт и смотрите, что происходит… они должны просто наслаждаться этим, и все», — говорит Слейтер. «Но результаты очень интересные. И всегда хорошо, когда получаешь результаты, которых не ожидаешь, потому что именно тогда ты чему-то учишься».
Команда обнаружила, что многие женщины в зале действительно чувствовали себя некомфортно. « (Они) говорили что-то вроде: «Вокруг меня были эти мужчины, и я беспокоился, что они придут и начнут со мной разговаривать». И они продолжали смотреть на меня», — объясняет Слейтер. «На самом деле это было неправдой – мы не программировали этих персонажей так, чтобы они смотрели на них, но у них была иллюзия, что они смотрят».
В каком-то смысле это был хороший знак для концепции виртуальных концертов в целом, говорит он, потому что это означало «было сильное ощущение того, что мы называем присутствием – иллюзия присутствия и того, что эти события действительно происходили».
Другое наблюдение заключалось в том, что люди говорили, что «на самом деле, когда они идут на концерт, они никогда не идут одни — они всегда идут с друзьями и семьей», — добавляет он. «Итак, мы создали еще одну среду, в которой вы можете присутствовать на концерте, но с другими людьми, которых вы знаете», используя аватары (виртуальные персонажи), похожие на них.
Опыт виртуальной реальности — это приспособление как для исполнителей, так и для фанатов. T-Pain привык к энергии живой публики, в том числе здесь, во время концерта в Нью-Йорке, июль 2023 года.
По словам Слейтера, эта модель еще ждет изучения, и цель состоит в том, чтобы проверить, облегчит ли она некоторые из наблюдаемых ими проблем с опытом. «Моя интуиция подсказывает, что это радикально изменит то, как люди реагируют на публику в целом и на сам концерт», — говорит он.
Что также выводит виртуальный концерт на новый уровень, так это живая съемка – ключевое различие между качеством версии Dire Straits (использование компьютерной графики для превращения старого концертного видео в виртуальный опыт) и подходом AmazeVR, заключающимся в непосредственном выступлении музыканта. На камеру в 3D. Но, по словам Слейтера, остается сложной задачей убедить мозг, что это действительно происходит прямо перед вами.
«Мы смотрим телевизор, ходим в кино, и все, что мы видим, очень реалистично. Но мы знаем, что люди в фильмах нас не видят», — говорит он. « (Виртуальное видео) не совсем эффективно, потому что какая-то часть вашего мозга говорит: «Это видео, они меня не видят… Так что есть свои преимущества и недостатки».
Интерес на подъеме
Хотя идея виртуального концерта по сравнению с реальным концертом может показаться невыгодной для заядлых меломанов, сокращение масштабов в физическом мире имеет свои преимущества.
По данным Программы ООН по окружающей среде, «живые концерты и туры могут способствовать климатическому кризису, увеличивая выбросы из-за путешествий фанатов и артистов, потребления энергии и массового производства товаров». Между тем, рост цен на билеты на некоторые из самых популярных сегодня концертов, в том числе тур Тейлора Свифта «Eras» и тур Бейонсе «Renaissance World Tour», приводит к повышению цен на людей (хотя и стимулирует местную экономику).
«Многие артисты не имеют возможности устроить большой концерт, потому что для этого нужен большой бюджет, вся продюсация и все очень сложно», — говорит Ким из AmazeVR. «Но даже маленькие или большие художники (с VR) не имеют значения. Вы всегда можете сделать свой собственный VR-концерт и поделиться им со всеми фанатами по всему миру, и я думаю, что это дает очень хорошую и справедливую возможность каждому артисту и каждому фанату».
Приложение AmazeVR дебютировало в Meta** App Lab и SteamVR 13 июля, а затем было выпущено во всех основных магазинах расширенной реальности (XR), включая Apple Vision Pro. По данным AmazeVR, цены в настоящее время указаны за концерт; например, один год доступа к концерту T-Pain будет стоить 6,99 доллара США после запуска этого контента.
В настоящее время ведется работа над сотрудничеством с K-pop группой aespa, а AmazeVR «ведет переговоры со многими лейблами и управляющими компаниями», а интерес к VR-концертам растет с момента анонса гарнитуры Apple, сообщает компания.
Он также производит и выпускает концерты смешанной реальности (MR) — комбинации виртуальной и дополненной реальности — путем наложения виртуальных элементов на живое видео из реального мира. По словам компании, это позволит фанатам «взаимодействовать с музыкальными исполнителями, используя жесты рук». Этот элемент, по мнению Слейтера, может иметь большое значение для того, как наш мозг воспринимает и воспринимает виртуальную среду.
«Независимо от платформы и места проведения, все дело в музыке», — говорит T-Pain.
«Даже когда ты не на концерте… потусоваться с двумя друзьями и включить мою музыку — это что-то вроде вечеринки», — добавляет рэпер.
«Я думаю, что музыка делает это сама по себе».
