C момента своего появления в декабре 2017-го дипфейки, видео с почти идеальной заменой лица, созданные нейросетью, наводили на экспертов панику. Многие, например, тогда боялись, что теперь еще проще станет «порно-месть», когда бывший бойфренд с достаточно мощным ПК может смастерить любое грязное порно с подругой. А Натали Портман и Скарлетт Йоханссон, о которых порно с deepfake снимали особенно много, публично прокляли интернет.
Чтобы бороться с подступающей угрозой, Facebook и Microsoft недавно собрали коалицию для борьбы с дипфейками, объявив призовой фонд $10 млн тем разработчикам, которые придумают лучшие алгоритмы для их обнаружения. Это помимо DARPA, управления исследованиями Министерства обороны США, выделившего на эту цель $68 млн за последние два года.
Ну так вот, уже поздно. Первое deepfake-преступление уже состоялось.
По данным Wall Street Journal, в марте этого года управляющий директор британской энергетической компании был ограблен на €220 000 (около $240 000). Он отправил эти деньги фирме-поставщику из Венгрии, потому что его босс, глава материнской фирмы в Германии, несколько раз подтвердил ему такую инструкцию. Но на самом деле какой-то хитрый злоумышленник просто использовал софт с AI-технологиями, чтобы в режиме реального времени заменять лицо и голос руководителя, и требовать, чтобы тот заплатил ему в течение часа.
Программа, которую использовал вор, смогла полностью имитировать голос человека: тон, пунктуацию, даже немецкий акцент. Сообщение исходило с адреса босса в Германии, в подтверждение британскому директору был направлен e-mail с контактами. Предположить, что что-то идёт не так, можно было разве что по требованию босса провести всю сделку как можно быстрее, но это далеко не первый аврал, который случался в их бизнесе.
В итоге – все деньги пропали. Из венгерского аккаунта их перевели в Мексику, а потом рассеяли по всему миру. Но воры на этом не остановились. Они попросили второй срочный перевод, чтобы «поставки из Венгрии» «пошли еще быстрее». Тут уж британский директор почуял неладное, и позвонил своему настоящему боссу. Получился какой-то сюр: он по очереди принимал звонки то от фейкового, то от настоящего руководителя, говорящих одинаковыми голосами. Название компании и её сотрудников не разглашаются, поскольку по этому делу ведется расследование, и воры еще не найдены.
Возможно, это даже не первая кража с использованием Deepfake AI (или его продвинутых последователей). Symantec сообщает, что она засекла как минимум три случая, в которых замена голоса помогла ворам обхитрить компании и заставить их послать им деньги. В одном из этих случаев ущерб составил миллионы долларов. Причем, судя по косвенным признакам, этот трюк был проделан другими злоумышленниками – не теми, которые обокрали британского СЕО. То есть, deepfake-преступления постепенно становятся общим достоянием, это не придумка какого-то одного гениального хакера.
На самом деле, скоро такую процедуру сможет проделать любой школьник. Главное – найти достаточно доверчивую жертву, и собрать нужное количество сэмплов видео/аудио, чтобы имперсонировать, кого потребуется. Google Duplex уже успешно мимикрирует под голос реального человека, чтобы делать звонки от его имени. Многие небольшие стартапы, в основном из Китая, работают над тем, чтобы предлагать похожие на deepfake сервисы бесплатно. Разные программы-дипфейки даже соревнуются друг с другом, кто сможет сгенерировать достаточно убедительное видео с человеком, используя минимальный объем данных. Некоторые заявляют, что скоро им будет достаточно одного вашего фото.
В июле Израильское национальное управление защиты от киберугроз выпустило предупреждение о принципиально новом виде кибератак, которые могут быть направлены на руководство компаний, ответственных сотрудников и даже высокопоставленных чиновников. Это первая и на данный момент самая реальная AI-угроза. Они говорят, уже сейчас есть программы, способные идеально передать ваш голос и акцент, прослушав вас 20 минут. Если где-то в сети есть запись с вашей речью в течение получаса, или если кто-то немного посидел рядом с вами в кафе с диктофоном, ваш голос теперь может быть использован, чтобы сказать кому угодно что угодно.
Пока что инструментов для борьбы с этим нет. Вариант защититься только один. Если вам кто-то звонит и просит перевести существенную сумму денег, – не будет лишним подтвердить, что это тот самый человек, по другому каналу. Через мессенджеры, Скайп, e-mail, корпоративные каналы или соцсети. А в идеале, конечно же, – лицом к лицу.
Ну а если у вас есть глубокие познания в машинном обучении и вы не прочь получить кусок от пирога в $10 млн – можно попробовать себя в конкурсе Microsoft и Facebook. Или основать свой стартап, предлагающий государству и солидным компаниям бизнес-решение для определения дипфейков по картинке или по голосу. Без этого нам скоро будет не обойтись.
