Зеленый экран Netflix с искусственным интеллектом купает актеров в пурпурном цвете

Процесс композитинга, то есть размещение актеров перед фоном, которого на самом деле нет, так же стар, как и сама кинопроизводство, и всегда был проблемой. У Netflix есть новая техника, которая полагается на машинное обучение, чтобы выполнить часть тяжелой работы, но для этого требуется освещать актеров ярко-пурпурным цветом.

Десятилетиями самым простым методом композитинга было использование ключей цвета, при котором актеры стоят перед ярко окрашенным фоном (изначально синим, позже зеленым), который легко идентифицируется и заменяется на что-то от погодной карты до схватки с Таносом. Передний план считается "замаскированным", а фон представляет собой прозрачный "альфа" канал, который изменяется вместе с красным, зеленым и синим каналами.

Это просто и дешево, но у него есть несколько недостатков, включая проблемы с прозрачными объектами, тонкими деталями, такими как волосы, и, конечно же, с любыми другими объектами, имеющими похожий цвет на фон. Однако обычно это достаточно хорошо, поэтому попытки заменить его более сложными и дорогостоящими методами (например, камерой со световым полем) не увенчались успехом.

Исследователи Netflix, однако, предпринимают попытку комбинировать старые и новые методы, которые могут обеспечить простой и безупречный композитинг, но при этом требуется адски сложная осветительная схема на съемочной площадке.

Как описано в недавно опубликованной статье, их "Magenta Green Screen" достигает впечатляющих результатов, по сути, помещая актеров в своеобразный световой сэндвич. За ними - ярко зеленый фон (активно освещенный, а не просто задник); спереди - смесь красного и синего цветов, создающая драматически контрастные цвета.

Полученный на съемочной площадке вид, вероятно, даже заставит самых опытных специалистов по постпродакшну поджать брови. Обычно актеров освещают ярким, довольно естественным светом, поэтому хотя иногда может потребоваться некоторая коррекция, их внешность на камере относительно нормальная. Но если они освещены исключительно красным и синим светом, это полностью искажает их вид, поскольку обычный свет не имеет большого пика спектра.

Однако метод также умелый тем, что путем деления переднего плана на красный/синий и фона на зеленый упрощается процесс их разделения. Обычная камера, которая обычно захватывает эти цвета, захватывает вместо них красный, синий и альфа. Это делает получаемые маски очень точными, без артефактов, которые возникают при разделении полноцветного ввода и ограниченного спектра ключевого фона.

Конечно, они, кажется, просто заменили одну сложность на другую: процесс композитинга теперь прост, но восстановление зеленого канала для актеров, освещенных пурпурным, является сложной задачей.

Это должно быть сделано систематически и адаптивно, поскольку объекты и композиции различаются, но "наивный" линейный подход к внедрению зеленого приводит к выцветанию и желтоватому оттенку. Как можно автоматизировать этот процесс? Приходит на помощь искусственный интеллект!

Команда обучила модель машинного обучения на собственных тренировочных данных, в основном на "репетиционных" сценах с похожими условиями освещения, но освещенных нормальным светом. Сверточная нейронная сеть сравнивает фрагменты полноцветного изображения с фрагментами, освещенными пурпурным, и разрабатывает процесс быстрого восстановления отсутствующего зеленого канала более интеллектуальным способом, чем простой алгоритм.