Разработчики компании Netflix создали новый тип технологии «зеленого экрана» на базе искусственного интеллекта, позволяющий создавать реалистичные визуальные эффекты для кино и телевидения в режиме реального времени.
Технология «зеленого экрана» обычно используется для съемки актеров, которые затем вставляются на передний план виртуальных или заранее записанных сцен. Для этого актеры снимаются на ярко-зеленом фоне, который легко выделяется и удаляется цифровым способом.
Этот процесс может выполняться автоматически с достаточной точностью, как, например, в телевизионных прогнозах погоды, но его могут сбивать зеленые детали одежды, прозрачные или тонкие объекты, например, локоны волос. Если требуется большая точность при съемке фильмов или телесериалов, специалисты-операторы настраивают параметры вручную, иногда на это уходит несколько часов.
Стремясь создать быструю и точную технологию, компания Netflix разработала метод, получивший название Magenta Green Screen (MGS). Съемка ведется на фоне ярких зеленых светодиодов, а спереди актеры освещаются красными и синими светодиодами, которые в совокупности создают пурпурное свечение.
Поскольку цифровые камеры воспринимают по отдельности значения красного, зеленого и синего цветов для каждого пикселя, эта технология приводит к формированию зеленого канала, который записывает только фон, а передний план кажется черным, красный и синий каналы формируют для записи только передний план, оставляя фон черным. Вместе они создают пурпурный и зеленый цвета.
В режиме реального времени монтажеры могут заменить зеленый канал, мгновенно и реалистично поместив актеров на передний план другой сцены, причем даже такие потенциально сложные участки, как прозрачные бутылки или область вокруг прядей волос, обрабатываются без проблем.
Однако у этого метода есть проблема. Поскольку передний план записывается только в синем и красном цветах, актеры выглядят пурпурными. Чтобы решить эту проблему, Netflix использует искусственный интеллект для возвращения полного спектра цветов на передний план при помощи фотографий актеров сделанных при обычном освещении.
Искусственный интеллект работает быстро, но пока не в режиме реального времени, хотя такие быстрые методы, как усреднение красного и синего каналов для создания приближения к зеленому каналу, работают достаточно эффективно, чтобы режиссер мог следить за ними во время съемок.
Дрю Лахат из видеопроизводственной компании Geiger Post в Калифорнии говорит, что индустрия всегда приветствует новые методы, но эта технология включает в себя множество сложных этапов, которые, возможно, пока не соответствуют быстрому темпу съемок кино и телевидения.
«Есть целый ряд аспектов этой технологии, которые с практической точки зрения заставляют меня задуматься, стоит ли ее использовать», — говорит он. «Она может хорошо работать в полностью контролируемом пространстве, но ей придется конкурировать с другими новыми технологиями, такими как виртуальные съемочные площадки, и завоевывать продюсеров в реальных условиях».