Группа исследователей из Университета Южной Калифорнии создала программу, способную создавать реалистичные трехмерные изображения лица по одной фотографии. Статья, посвященная разработке, выложена на сайте ArXiv.org.
Как пишет N+1, обычно для создания "виртуальных масок" используются качественные фотографии, сделанные в нескольких ракурсах при идеальном освещении. Это необходимо для того, чтобы передать все особенности лица человека, включая его асимметрию, изгибы и мелкие детали, включая родинки. Метод, разработанный учеными из США, позволяет использовать для этих целей всего один непрофессиональный снимок, сделанный в повседневной обстановке.
В ходе работы исследователи создали модель, способную "считывать" форму лица по фотографии. Затем они использовали предварительно подготовленную сверточную нейросеть VGG-19, которая анализировала заготовки лиц и подбирала к ним реалистичные текстуры. Для выполнения этой задачи нейросеть использовала базу данных лиц, содержащую фотографии мужчин и женщин разного возраста и разной национальности.
Для оценки реалистичности 11 созданных моделей ученые пригласили 150 добровольцев. Им демонстрировались фотографии лиц, на которых левая половина всегда была настоящей (изображение из базы данных), а правая могла быть как реальной, так и сгенерированной нейросетью. Согласно результатам проверки выяснилось, что цифровая модель очень похожа на реальное изображение лица.
По мнению разработчиков, созданная ими технология в перспективе может быть использована для создания VR-аватаров или для усовершенствования онлайн-игр.