How to make deepfake

DeepFake своими руками [часть 1]

Не смотря на все прелести интернета, у него есть много минусов, и один из самых ужасных – это введения людей в заблуждение. Кликбейт, монтаж фотографий, ложные новости – все эти инструменты активно используются для обмана обычных пользователей в мировой сети, но в последние годы набирает обороты новый потенциально опасный инструмент, известный как DeepFake.

Меня данная технология заинтересовала недавно. Впервые о ней я узнал из доклада одного из спикеров на “AI Conference 2018”. Там демонстрировалось видео, в котором по аудиозаписи алгоритм сгенерировал видео с обращением Барака Обамы. Ссылка на подборку видео созданных с помощью этой технологии. Результаты меня сильно вдохновили, и мною было принято решение лучше разобраться с данной технологией, чтобы в будущем противодействовать ей. Для этого я решил написать DeepFake на языке C#. В итоге получил такой результат.

Приятного чтения!

Общие принципы

Отправной точкой стал этот проект. Из него я узнал как именно работает замена лица на видео.

Работу я решил разбить на 3 части:

1-я) Замена лица на одном фото лицом с другого, без использования 3D маски
2-я) Доработка замены с применением 3D маски
3-я) Обработка видео

Замену лица на фото можно разложить на следующие пункты:

Первое с чего я начал работу — это встраивание одного изображения в другое. Для демонстрации встраивания в оригинальном проекте используется скрипт zad1.py.
В результате создается файл «eyeHandBlend.jpg», где глаз встраивается в руку.

Данный алгоритм состоит из 2х частей, первая переносит цвет из участка с лицом на исходной картинке, на то лицо, которое необходимо вставить. Вторая делает края картинки с нужным лицом прозрачными уменьшая прозрачность по мере приближения к центру изображения.

Первую часть я полностью перенес из оригинального проекта.

Чтобы края были более прозрачными, чем центральная часть изображения, для расчета альфа канала, была введена радиально-базисная функция следующего вида:

k и n были подобраны эмпирически.
i — индекс пикселя по оси OX
j — индекс пикселя по оси OY
— компонента x центра изображения
— компонента y центра изображения

В итоге я получил следующий результат:

Для поиска лица на фото существует множество алгоритмов:

Пример получения Langmarks:

Лицо можно выделить точнее, находя самую левую, правую, верхнюю и нижнюю точки и строя рамки по ним.

Потом лицо вырезалось из картинки в правом нижнем углу и вставлялось, с помощью описанного выше алгоритма, в картину: «Caballero de la mano en el pecho».

Был получен следующий результат.

Игра на доверие. Как создать собственный DeepFake за 5 минут

В этой статье поговорим о том, как сделать профессиональный DeepFake без написания нескольких сотен строк кода.

Пример Deepfake от BuzzFeed

Однако, технология применяется не только во вред, но и на благо обществу. Например, в Музее Сальвадора Дали во Флориде в честь 115-летия известного художника была организована специальная выставка Dalí Lives («Дали жив»). Кураторы проекта использовали сгенерированный искусственным интеллектом прототип художника, который общался с посетителями музея, рассказывал им истории о своих картинах и жизни.

Для имитации выше описанного процесса мы реализуем анимацию изображения, которая возможна с помощью нейронных сетей, заставляющих картинку двигаться в выбранной вами видеопоследовательности. Прочитав эту статью до конца, вы поймете, что можно анимировать любое фото без написания единой строчки кода.

Как это работает?

В основе дипфейков лежат генеративно-состязательные нейросети (GAN). Это алгоритмы на базе машинного обучения, способные генерировать новый контент из заданного набора. Например, GAN может изучить тысячу фотографий Барака Обамы и создать свою, сохраняя все черты и мимику экс-президента.

Мы будем использовать модель, представленную в «First Order Motion Model for Image Animation», которая является новым подходом к замене объекта в видео другим изображением без указания какой-либо дополнительной информации и написания дополнительного кода.

Прежде чем выстроить видеопоследовательность, очень важно понимать, как именно нужно это делать.

При использовании данной модели нейронная сеть помогает реконструировать видео, где изначальный объект съемки заменяется другим объектом, находящимся на исходном изображении. Во время тестирования программа пытается предсказать, как объект на исходном изображении будет двигаться, если взять за основу добавленное видео. Таким образом, отслеживается каждое мельчайшее движение, представленное на видео, начиная с поворота головы и заканчивая перемещением уголков губ.

Процесс создания DeepFake

Тестирование проводится на большом количестве видеороликов. Для реконструкции видео модель извлекает несколько кадров и пытается изучить закономерности выполненных движений. Анализируя извлеченную информацию, она учится кодировать движение как смесь специфичных для него перемещений ключевых точек и собственных аффинных преобразований.

Во время тестирования модель восстанавливает видеопоследовательность, добавляя объект с исходного изображения в каждый кадр видео, и, следовательно, анимирует его.

Фреймворк реализуется посредством использования модуля оценки движений и модуля генерации изображений.

Цель модуля оценки движений заключается в том, чтобы понять, как именно они выполняются («латентное представление о движениях»). Проще говоря, он пытается отслеживать движения в их последовательности и кодировать их для перемещения ключевых точек и записи локальных аффинных преобразований. В результате мы получаем плотное поле движений и окклюзионную маску, которые работают вместе. Маска определяет, какие части объекта, двигающиеся в определенной последовательности, должны быть заменены исходным изображением (например, нижняя часть лица).

Например, в данном GIF-файле спина дамы не анимирована.

В конце концов, полученные модулем оценки движений данные отправляются в модуль генерации изображений вместе с исходным изображением и выбранным видеофайлом. Генератор изображений создает кадры движущегося видео с замененным исходным объектом изображения. Кадры соединяются вместе, чтобы впоследствии создать новый видеоролик.

Создание DeepFakes

Исходный код легко можно найти на Github, клонировать на собственную машину и выполнить все там, однако, есть способ проще, позволяющий получить уже готовое видео буквально спустя 5 минут.

3. Запустите первый процесс, чтобы скачать все необходимые ресурсы и настроить параметры модели.

4. Затем вы можете протестировать алгоритм используя заранее заготовленную коллекцию видео и фото. Просто выберите исходное изображение из коллекции и видео, которое вы хотите спроецировать на это изображение. Спустя пару минут у вас на руках будет готовый дипфейк.

5. Чтобы создать собственное видео, укажите путь к исходному изображению и движущему видео в третью ячейку. Загрузить их можно прямо в папку с моделью, открыть которую можно нажав на иконку папки меню слева. Важно, чтобы ваше видео было обрезано по лицу и имело формат mp4. Вы также можете использовать примеры из коллекции в этом разделе.

В итоге, совместив видео с Ивангаем и фотографию Илона Маска, нам удалось получить следующий дипфейк

Подписывайся на Эксплойт в Telegram, чтобы не пропустить новые компьютерные трюки, хитрости смартфонов и секреты безопасности в интернете.

6 лучших Deepfake приложений и инструментов

Различные методы манипулирования изображениями были введены в 19 веке и позднее применялись к кинофильмам. Эти методы быстро улучшились с цифровым видео.

В начале 1990-х годов исследователи из академических институтов разработали технологию Deepfake, которая впоследствии была доработана разработчиками в онлайн-сообществах. В последнее время подделки Deepfake привлекают большое внимание за их использование в финансовых махинациях, розыгрышах и фальшивых новостях.

Это заставило правительство и промышленность выявлять и ограничивать их незаконное использование. Тем не менее технология имеет большой потенциал, если ее правильно использовать.

Что такое технология Deepfake?

Deepfakes относятся к манипулируемому визуальному контенту, генерируемому сложным искусственным интеллектом, который дает сфабрикованные изображения и звуки, которые кажутся реальными. В большинстве случаев, человек в существующем видео или изображении заменяется на чье-то подобие.

Хотя трудно создать хороший deepfake на обычном компьютере, есть много инструментов, доступных в интернете, чтобы помочь людям сделать достойные deepfakes. Технология все еще находится в зачаточном состоянии, поэтому не ожидайте идеального результата.

Мы тщательно собрали несколько хороших deepfake приложений и инструментов, которые не требуют высокого класса рабочего стола с мощными графическими картами (за исключением одного или двух). Вы можете использовать их как в исследовательских целях, так и просто для развлечения, но не нарушайте чью-либо частную жизнь.

6. Doublicat

Платформа: Android / iOS
Цена: Бесплатно

Doublicat позволяет вам сделать селфи и поместить свое лицо на мем или GIF в своей библиотеке. Это займет около 5 секунд, чтобы ваше лицо было наложено на лицо Брэда Питта, Леонардо Ди Каприо или Тейлора Свифта.

Вы будете удивлены, увидев, насколько хорошо ваше наложенное лицо принимает те же выражения, что и оригинал. Вы можете переслать результаты своей семье и друзьям или опубликовать их в Instagram.

Вывод будет довольно странным, если будет много движений лица, но в целом это интересный эксперимент. По словам разработчиков приложения, само изображение удаляется с серверов сразу после его обработки. Однако при этом сохраняется представление черт лица.

5. FaceApp

Платформа: Android / iOS
Цена: Бесплатно

FaceApp разработан российской компанией Wireless Lab. Он использует нейронные сети для генерации высокореалистичных преобразований лиц на фотографиях.

Приложение может преобразить ваше лицо, чтобы заставить его улыбаться, выглядеть старше, выглядеть моложе или просто смены пола, а также многих других захватывающих преобразований. Татуировки, виньетки, размытие объектива и наложение фона также являются частью FaceApp.

В 2018 году приложение привлекло много внимания со стороны трансгендерных и ЛГБТ-сообществ из-за его реалистичных преобразований гендерных изменений. Он также столкнулся с критикой как в социальных сетях, так и в прессе за конфиденциальность пользовательских данных.

4. Deepfakes web β

С помощью этого инструмента вы можете создавать deepfake видео в интернете. Однако кривая обучения здесь немного больше, чем то, что вы найдете в других приложениях.

Вам нужно зарегистрироваться и загрузить свои видео. Все остальное происходит в облаке, где используются мощные графические процессоры. На изучение видео/изображений и смену лиц уходит почти 4 часа. Вы также можете использовать обученную модель, чтобы менять лица, что занимает около 30 минут.

Качество выходного видео зависит от значений «потерь»: чем ниже значения потерь (при обучении из загруженных видео), тем выше качество. И, конечно, только вы можете получить доступ к своим видео и учебным данным.

3. DeepFaceLab

Платформа: Windows
Цена: Бесплатный

DeepFaceLab является ведущим программным обеспечением для создания подделок. Она использует новые нейронные сети для замены лиц в видео. Она размещена на GitHub и породила бесчисленное множество видео в интернете.

По словам его разработчиков, более 95% глубоких подделок видео создаются с помощью DeepFaceLab. Его используют несколько популярных каналов YouTube, таких, как Ctrl Shift Face, iFake и Shamook.

DeepFaceLab прекрасно работает, но для его использования необходимы технические знания. Как только вы загрузите и разархивируете инструмент, вы увидите множество папок и ряд командных файлов. Существует папка с именем «workspace», которая содержит все обучающие модели, исходные видео и выходные данные. Инструмент работает с определенными именами и местоположениями файлов, чтобы пакетный файл мог функционировать.

2. FaceSwap

Платформа: Windows | MacOS | Linux
Цена: бесплатно

FaceSwap похож на DeepFaceLab, но предоставляет больше возможностей, лучшую документацию и лучшую онлайн-поддержку. И да, он также доступен на Mac и Linux.

Это инструмент с открытым исходным кодом, наполненный функциональностью для выполнения каждого шага процесса Deepfake, от импорта первоначального видео до создания финального видео Deepfake. Чтобы запустить этот инструмент, вам нужна мощная видеокарта, так как замена лица происходит невероятно медленно.

Работая на Python, Keras и Tensorflow, Faceswap имеет активное сообщество, поддерживающее и разрабатывающее программное обеспечение. Есть много учебников, которые помогут вам начать работу.

1. Zao

Платформа: Android | iOS
Цена: бесплатно

Технология глубокой подделки Zao позволяет вам модулировать голоса знаменитостей и накладывать свое лицо на тело актера в сцене.

Просто нажмите на одну фотографию и попробуйте тысячи модных причесок, одежды и макияжа. Приложение предоставляет вам множество видеоклипов, нарядов и буквально неограниченные возможности для изучения.

В 2019 году Zao за короткое время приобрел значительную популярность, позволив пользователям обмениваться лицами с любимыми актерами в коротких клипах из телепередач и фильмов. За месяц он стал самым загружаемым бесплатным приложением в Китае. С ростом популярности, его разработчики также столкнулись с критикой политики конфиденциальности приложения.

Это займет всего несколько секунд, чтобы поменять ваше лицо, но так как алгоритм в основном обучен на китайских лицах, это может выглядеть не так естественно, как вы ожидаете.

Тем не менее все эти инструменты демонстрируют, как быстро развивался базовый ИИ: то, что раньше требовало тысячи картинок, чтобы сделать достаточно убедительное глубокое поддельное видео, теперь требует только одного изображения и дает лучшие результаты.

How to Produce a DeepFake Video in 5 Minutes

Everybody can make DeepFakes without writing a single line of code.

Do you dance? Do you have a favourite dancer or performer that you want to see yourself copying their moves? Well, now you can!

Imagine having a full-body picture of yourself. Just a still image. Then all you need is a solo video of your favourite dancer performing some moves. Not that hard now that TikTok is taking over the world…

Image animation uses a video sequence to drive the motion of an object in a picture. In this story, we see how image animation technology is now ridiculously easy to use, and how you can animate almost anything you can think of. To this end, I transformed the source code of a relevant publication into a simple script, creating a thin wrapper that anyone can use to produce DeepFakes. With a source image and the right driving video, everything is possible.

Learning Rate is my weekly newsletter for those who are curious about the world of AI and MLOps. You’ll hear from me every Friday with updates and thoughts on the latest AI news, research, repos and books. Subscribe here!

How it Works

In this article, we talk about a new publication (2019), part of Advances in Neural Information Processing Systems 32 (NIPS 2019), called “First Order Motion Model for Image Animation” [1]. In this paper, the authors, Aliaksandr Siarohin, Stéphane Lathuilière, Sergey Tulyakov, Elisa Ricci and Nicu Sebe, present a novel way to animate a source image given a driving video, without any additional information or annotation about the object to animate.

Under the hood, they use a neural network trained to reconstruct a video, given a source frame (still image) and a latent representation of the motion in the video, which is learned during training. At test time, the model takes as input a new source image and a driving video (e.g. a sequence of frames) and predicts how the object in the source image moves according to the motion depicted in these frames.

The model tracks everything that is interesting in an animation: head movements, talking, eye tracking and even body action. For example, let us look at the GIF below: president Trump drives the cast of Game of Thrones to talk and move like him.

Methodology and Approach

Before creating our own sequences, let us explore this approach a bit further. First, the training data set is a large collection of videos. During training, the authors extract frame pairs from the same video and feed them to the model. The model tries to reconstruct the video by somehow learning what are the key points in the pairs and how to represent the motion between them.

To this end, the framework consists of two models: the motion estimator and the video generator. Initially, the motion estimator tries to learn a latent representation of the motion in the video. This is encoded as motion-specific key point displacements (where key points can be the position of eyes or mouth) and local affine transformations. This combination can model a larger family of transformations instead of only using the key point displacements. The output of the model is two-fold: a dense motion field and an occlusion mask. This mask defines which parts of the driving video can be reconstructed by warping the source image, and which parts should be inferred by the context because they are not present in the source image (e.g. the back of the head). For instance, consider the fashion GIF below. The back of each model is not present in the source picture, thus, it should be inferred by the model.

Next, the video generator takes as input the output of the motion detector and the source image and animates it according to the driving video; it warps that source image in ways that resemble the driving video and inpatient the parts that are occluded. Figure 1 depicts the framework architecture.

Code Example

The source code of this paper is on GitHub. What I did is create a simple shell script, a thin wrapper, that utilizes the source code and can be used easily by everyone for quick experimentation.

To use it, first, you need to install the module. Run pip install deep-animator to install the library in your environment. Then, we need four items:

Now, we are ready to have a statue mimic Leonardo DiCaprio! To get your results just run the following command.

For example, if you have downloaded everything in the same folder, cd to that folder and run:

Conclusion

Although there are some concerns about such technologies, it can have various applications and also show how easy it is nowadays to generate fake stories, raising awareness about it.

Learning Rate is my weekly newsletter for those who are curious about the world of AI and MLOps. You’ll hear from me every Friday with updates and thoughts on the latest AI news, research, repos and books. Subscribe here!

About the Author

My name is Dimitris Poulopoulos, and I’m a machine learning engineer working for Arrikto. I have designed and implemented AI and software solutions for major clients such as the European Commission, Eurostat, IMF, the European Central Bank, OECD, and IKEA.

If you are interested in reading more posts about Machine Learning, Deep Learning, Data Science, and DataOps, follow me on Medium, LinkedIn, or @james2pl on Twitter.

Opinions expressed are solely my own and do not express the views or opinions of my employer. Also, visit the resources page on my website, a place for great books and top-rated courses, to start building your own Data Science curriculum!

References

[1] A. Siarohin, S. Lathuilière, S. Tulyakov, E. Ricci, and N. Sebe, “First-order motion model for image animation,” in Conference on Neural Information Processing Systems (NeurIPS), December 2019.

🎥 Делаем DeepFake на коленке: пошаговое практическое руководство

Сергей Кравченко

Сейчас термин стал общеупотребительным для обозначения алгоритмов и технологий картографирования лиц и изменения видео. Под DeepFake мы понимаем:

Хотя манипуляции с видео далеко не новое явление, за последние годы произошло два больших изменения:

Для создания DeepFake чаще всего используется две технологии, которые стоит рассмотреть немного подробнее.

При использовании GAN совместно обучаются две конкурирующие нейронные сети: «Дискриминатор» и «Генератор». Затем модель генератора создает искусственные изображения с использованием случайного шума, а дискриминатор обучается различать настоящие образцы и подделки. Если вы выровняете GAN с достаточно большим набором обучающих данных (человеческих лиц), он научится генерировать довольно реалистичные подделки.

Принцип работы GAN

Автоэнкодеры

Другой популярный подход – использование автоэнкодеров.

Если не вдаваться в подробности, основная идея метода заключается в том, что если у вас есть пара обучающихся отдельно (но с общим кодировщиком) автокодировщиков, два автокодера будут изучать лица как цели, так и источника. Декодер для цели затем можно комбинировать с общим кодировщиком. Если в кодер поступает исходное видео, но он подключен к декодеру для целевого, это генерирует синтетический выходной сигнал с подобием источников и характеристиками цели.

Мобильные приложения

Теперь мы последовательно разберем создание DeepFake на примере трех коммерческих мобильных приложений и сравним результаты.

Reface

На веб-сайте Reface говорится, что программа реализует «прорывную технологию AI/ML с использованием Generative Adversarial Networks», но никакой конкретики не приводится.

Приложение позволяет подставлять лица в одно из множества видео или выбрать собственное видео из интернета. Можно также обрабатывать и сохранять несколько лиц – это дает возможность повторно использовать их без импорта. Поскольку Reface распознает все лица в видео, можно установить отдельное лицо для каждого персонажа.

Большинство функций приложения доступно бесплатно, но чтобы избавиться от водяных знаков, придется оплатить подписку Pro.

Impressions

Приложение накладывает лица известных людей на записанные пользователем видео. Выбрав знаменитость, загрузите ролик, а программа создаст дипфейк-версию.

Impressions также включает каталог аудиозаписей из популярных фильмов и телесериалов, которые можно синхронизировать по губам. Приложение загружает и обрабатывает видео на своих серверах, поэтому для работы требуется подключение к Интернету.

Пока Impressions доступен только на iPhone или iPad, но компания-разработчик утверждает, что скоро появится версия и для Android. Приложение бесплатно при условии, что на клипах остается водяной знак.

Jiggy

Jiggy позволяет воспользоваться технологией создания дипфейков для развлечения. Приложение предлагает десятки танцевальных видео, в которые можно втиснуть свое или чужое лицо, загрузив фотографию. Jiggy также сканирует верхнюю часть тела, чтобы наложить ее на танцующего персонажа.

Как и Reface, Jiggy оживляет выражение и движения лица.

Приложения вроде Reface, Impressions и Jiggy позволяют легко попробовать модную технологию, не прибегая к программированию и вообще не вникая в технологические нюансы. Мы на этом не остановимся и далее рассмотрим более полное руководство по созданию DeepFake на коленке.

Делаем DeepFake при помощи модели движения первого порядка за 5 минут

Методология и подход

Модель отслеживает движения головы, разговоры, слежение за глазами и даже движения тела.

Пошаговое руководство

Чтобы сделать собственный DeepFake, мы используем бесплатный облачный сервис Google Colab . Он основан на Jupyter Notebook и предоставляет всё необходимое для машинного обучения прямо в браузере. Вам понадобится только аккаунт Google.

Шаг 1. Откройте в браузере файл ipynb и скопируйте его на свой Google Диск. Это заранее подготовленный алгоритм машинного обучения.

Шаг 2. Запустите первый процесс, чтобы скачать ресурсы и настроить параметры модели.

Шаг 4. При помощи второго скрипта можно протестировать алгоритм, используя заранее заготовленную коллекцию видео и фото. Выберите исходное изображение, запустите run и дождитесь результатов.

Шаг 5. Чтобы сделать собственное видео, вам потребуется перетащить в папку проекта изображение и исходное видео для анимации.

Шаг 6. После этого скопируйте путь к ним, пропишите его в соответствующих полях третьего сценария и нажмите запуск.

Вуаля, Сталлоне уже требует от вас одежду, ботинки и мотоцикл:

Подводные камни

Представленный способ не универсален и может иногда выдавать неожиданные результаты. Учитывая личный опыт, приведем несколько рекомендаций:

DeepFaceLab

Для ознакомления с технологией создания DeepFakes или для развлечения вполне можно попробовать Reface или Impressions. Этих мобильных приложений хватит, чтобы подшутить над друзьями или сделать забавное видео. Если вы хотите чуть глубже разобраться в технологии, но без дорогого железа и многих часов рендера, стоит попробовать модель движения первого порядка для анимации изображений в Google Colab: алгоритм позволит поэкспериментировать с разными исходниками и параметрами, но также не требователен к ресурсам вашего компьютера. Для более серьезных манипуляций присмотритесь к возможностям DeepFaceLab. Удачи!