Ученые из Университета Суррея в Великобритании совместно с представителями лаборатории Disney Research разработали программу, которая позволяет изменять выражение лиц актеров после съемок. Представить свою разработку исследователи планируют в рамках конференции ICCV 2015 в середине декабря.
Как пишет N+1, FaceDirector анализирует выражения лиц и ключевую аудиоинформацию. После формирования представления об опорных точках лица система задействует технологию оптического потока, накладывает изображения одно на другое и генерирует новые кадры. Программа способна "смешивать" несколько выражений лиц в одно, что позволяет режиссеру выбрать наиболее подходящее на стадии просмотра готового материала.
Система прошла испытания на нескольких актерах, которые повторяли перед камерой один и тот же текст, выражая при этом разные эмоции: счастье, грусть, воодушевление, страх, злость и т.д. Затем исследователи синхронизировали видео в режиме реального времени, и пользователи за компьютерами генерировали новые эмоции прямо во время съемок. Семиминутное видео, демонстрирующее возможности алгоритма, было опубликовано на YouTube.
По словам представителя Disney Research Жан-Чарльза Базина, программа FaceDirector продемонстрировала впечатляющие результаты на крупных и средних планах. При этом алгоритм использовал видео с обычных камер и не нуждался в помощи каких-либо 3D-систем.