Deepfakes не підходять для машинного навчання - ось чому

Нова форма дезінформації має намір поширитися через онлайн-спільноти, коли середньострокові виборчі кампанії 2018 року нагріються. За назвою «глибокі омари» за псевдонімним онлайновим обліковим записом, який популяризував техніку, яка, можливо, вибрала його назву, тому що процес використовує технічний метод, що називається «глибоким навчанням» - ці фальшиві відео виглядають дуже реалістично.

До цих пір люди використовували глибоководні відео з порнографією та сатирою, щоб показати, що відомі люди роблять речі, які вони звичайно не роблять. Але це майже певні глибокі риби з'являться під час передвиборної кампанії, маючи на меті зобразити кандидатів, що говорять, або йдуть, де справжній кандидат не буде.

Оскільки ці прийоми є настільки новими, люди можуть зіткнутися з тим, що вони розрізняють реальні відео та глибокі фейк-ролики. Моя робота, з моїм колегою Мін-Чінга Чанг і нашим кандидатом наук. Студент Юезун Лі, знайшов спосіб надійно розповісти реальні відео з відео глибокої флейки. Це не є постійним рішенням, оскільки технологія покращиться. Але це початок і пропонує сподіватися, що комп'ютери зможуть допомогти людям розповісти правду про вигадки.

Що таке «глибокий осел»?

Створення глибинного відео дуже схоже на переклад між мовами. Такі служби, як Google Translate, використовують машинне навчання - комп'ютерний аналіз десятків тисяч текстів на різних мовах - для виявлення шаблонів використання слова, які вони використовують для створення перекладу.

Алгоритми глибоких фіксацій працюють однаково: вони використовують систему машинного навчання, яку називають глибокою нейронною мережею, щоб дослідити мімічні рухи однієї людини. Потім вони синтезують зображення обличчя іншої людини, роблячи аналогічні рухи. Завдяки цьому ефективно створюється відео про цільову особу, що з'являється, щоб зробити або сказати те, що зробила людина-джерело.

Перед тим, як вони можуть працювати належним чином, глибоким нейронним мережам потрібна велика кількість вихідної інформації, наприклад, фотографії осіб, які є джерелом або ціллю уособлення. Чим більше зображень використовується для підготовки алгоритму глибокого помилки, тим більш реалістичним буде цифрове імпресація.

Виявлення блимає

Є ще недоліки в цьому новому типі алгоритму. Один з них має відношення до того, як імітують обличчя, або не знають. Здорові дорослі люди блимають десь між кожні дві і 10 секунд, а єдина мигання займає від однієї десятої до чотирьох десятих секунди. Це те, що було б нормальним, щоб побачити на відео людини, яка розмовляє. Але це не те, що трапляється в багатьох відео з глибокої флейки.

Коли алгоритм глибокого очищення підготовлений на зображеннях облич людини, він залежить від фотографій, доступних в Інтернеті, які можна використовувати як навчальні дані. Навіть для людей, які часто фотографуються, декілька зображень доступні в Інтернеті, показуючи їхні очі закритими. Не тільки такі фотографії рідкісні - оскільки очі людей відкриті більшу частину часу - але фотографи не публікують зображення, де очі закриваються.

Без тренувальних зображень людей, що блимають, глибинні алгоритми менш імовірно створюють обличчя, які нормально блимають.Коли ми розраховуємо загальну швидкість мигання і порівнюємо це з природним діапазоном, ми виявили, що символи в глибоководних відеокліпах мигають набагато рідше в порівнянні з реальними людьми. Наше дослідження використовує машинне навчання для вивчення відкриття та закриття очей у відео.

Див. Також: Голлівуд не випускає азіатсько-американських зірок, але A.I. Машинне навчання може

Це дає нам натхнення для виявлення глибоководних відео. Згодом ми розробляємо метод для виявлення, коли людина у відео блимає. Більш конкретно, він сканує кожен кадр відповідного відео, виявляє його обличчя, а потім автоматично знаходить очі. Потім він використовує іншу глибоку нейронну мережу, щоб визначити, чи є відкрите або закрите око, використовуючи зовнішній вигляд очей, геометричні особливості та рух.

Ми знаємо, що наша робота використовує недоліки в даних, доступних для навчання алгоритмів deepfake. Щоб не стати жертвою подібного недоліку, ми навчили нашу систему на великій бібліотеці зображень як відкритих, так і закритих очей. Цей метод, здається, працює добре, і, як наслідок, ми досягли показника виявлення понад 95%.

Звичайно, це не останнє слово щодо виявлення глибоких коней. Технологія стрімко покращується, і конкуренція між генеруванням і виявленням підроблених відео є аналогом гри в шахи. Зокрема, моргання може бути додано до відео глибокого фейка, включаючи зображення обличчя із закритими очима або використовуючи відеопослідовності для навчання. Люди, які хочуть заплутати громадськість, будуть краще створювати помилкові відео - і ми, і інші учасники технологічного співтовариства повинні будемо продовжувати шукати способи їх виявлення.

Ця стаття була спочатку опублікована на The Conversation Siwei Lyu. Читайте оригінальну статтю тут.