Технология Face Swap

Новые технологии меняют мир, и одна из трендовых – Face Swap. Это игра с реальностью, возможность «примерить» другое лицо. Всего несколько секунд – и вот вы уже перевоплотились в известного актёра или спортсмена!

Технология Face Swap

О технологии Face Swap: всё только начинается

Технология Face Swap или, как её ещё называют, Deepfake – замена лиц на фото или видео с помощью нейросетей. Решение не новое, но получается очень реалистично. Селфи переносится на другое лицо – выходит убедительный образ, где даже выражение и мимика поражают.

Появление технологии и развитие

Впервые Deepfake появились между 2013 и 2015 годами, правда, чаще их использовали в нехороших целях – для вредоносных приложений. Позже – в развлекательных.

В течение последних 5-6 лет реалистичность видео и фото резко улучшилась. До такой степени, что становится все труднее понять, что реально, а что создано искусственным интеллектом.

Как это работает

Способов замены лиц много, но самый популярный алгоритм – тот, где используются GAN, генеративно-состязательные нейросети.

Если проще, то реалистичное лицо создает искусственный интеллект. Эффект основан на классе фреймворков (набор инструментов) машинного обучения, известных как GAN – генеративная состязательная сеть.

В GAN входят две сети, обучающие друг друга. Например, «подгоняют» цвет загруженного лица под освещение оригинального ролика или картинки.

Сеть обучается на миллионах фото из открытых библиотек. Селфи переводится в face embeddings – анонимизированный набор чисел. Машина определяет черты лица, затем перекладывает на шаблон.

Deepfake Technology не маскирует одно лицо поверх другого, совсем нет! Технология использует заданный материал (селфи и видео/картинку) и генерирует новое анимированное лицо. Поэтому результаты столь убедительны.

Другим технологиям не под силу сделать такую качественную замену. Или требуется много времени – например, до недели для создания одного видео для одного пользователя.

Как Face Swap меняет мир: где применяется новая технология

Face Swap, прежде всего, используется в разных приложениях. С помощью всего одного селфи можно создать до смешного реалистичные картинки, гифки и видео со сменой лиц. Побыть волшебником, поп-звездой, известным баскетболистом или телеведущим – все реально!

Применение Face Swap
Пример работы технологии Face Swap на практике.

Одно из таких приложений – Reface, причудливое цифровое зеркало. Ведь хотя Face Swap существует несколько лет, но команда Reface сосредоточена на том, чтобы технология стала доступной и простой в использовании.

Для работы приложения нужен простой смартфон – никакого мощного оборудования. Преобразование с использованием селфи происходит почти мгновенно.

Интерес к Reface растет быстрыми темпами – это 20 млн загрузок в 100 странах. Еще бы: если изначально в приложении были довольно зернистые изображения лиц в формате GIF, то сейчас уже доступно даже видео с высоким разрешением.

В видеозапись вставляется не просто лицо с фотографии. Голова может шевелиться, говорить, стать худее или толще. Подбирается даже цвет кожи.

Пользователи говорят: «В некоторые моменты даже жалеешь, что нельзя нажать на паузу, увеличить изображение и рассмотреть детали».

Важно: модификация лиц происходит на мобильных платформах в реальном времени.

С Face Swap уже активно экспериментируют:

  • Vivienne Sabo в 2020 году запустили рекламную компанию с использованием технологии.
  • Появилась социальная реклама с Face Swap об опасностях малярии, где участвовал Бекхэм.
  • Компания RefaceAI использовала технологию для продвижения кинотеатров «Мультиплекс» в Украине, используя функции замены лиц на постерах к фильмам.

Таких примеров уже много. Но распространенный вопрос – безопасность. Ведь если так легко сделать реалистичное лицо, не повлечет ли это угрозу?

Ради безопасности в Reface некоторые возможности ограничены. Например, нельзя использовать собственное видео, чтобы преобразовать его. На выбор – предварительно загруженные клипы знаменитостей и GIF-файлы, которые не перепутать с настоящими. Загруженные фото (селфи) удаляются с платформы Google Cloud в течение часа.

Результаты работы

Технология позволяет вытворять чудеса. Например, можно использовать селфи, чтобы поменять лицо супергероя, телезвезды, знаменитости, персонажа фильма – побыть в теле звезды. Или поиграть со сменой пола.

Для примера – посмотрите какого результата можно достичь с использованием технологии:

В социальной сети вы вдруг натыкаетесь на короткое видео: отрывок из знакомого клипа, где вместо мировой звезды – лицо знакомого человека. Например, этой возможностью пользуются блогеры.

Примеры использования:

  1. Замена лицо на видео. Берется короткое видео, лицо главной звезды система заменяет на ваше селфи – с фото, которое нужно предварительно загрузить. Например, меняется один из геров «Игры престолов». Изображение не будет плоским или обездвиженным. Лицо пластичное. Мимика, пение и даже речь – все это в наборе. Видео можно сохранить в галерее телефона или где-то им поделиться.
  2. Изменить фотографию. Чтобы поменять фото, сначала требуется загрузить изображение. Картинку можно загрузить из галереи или использовать фронтальную/заднюю камеру. Количество фото неограничено.
  3. Игра с гифками. В приложении мем-гифы, куда также можно подставить любое лицо – своё или друга, родственника, знаменитости.

Прогнозируется, что Face Swap будет активно использоваться в рекламных спецпроектов. Теперь увидеть себя в неожиданной роли может кто угодно. Возможно, что в скором времени Face Swap станет для нас обыденностью.

Ссылка на основную публикацию