Распознавание фейков с помощью технологий управления данными

Развитие технологий и все возрастающие объемы информации привели к тому, что слово «фейк» или «информационный фейк» прочно вошло в нашу жизнь. Всевозможные мошенники идут в ногу со временем и оперативно ставят себе на службу технологии, изобретая все новые способы влиять на людей. А значит, нам необходимо задуматься о том, как использовать накопившийся опыт и технологии управления информацией для распознавания фейков, т.е. для их автоматического отделения от реальных фактов. Сегодня мы расскажем о всем многообразии использования технологий управления данными для распознавания фейков.

Что же такое фейки?

Существует множество определений фейков, мы не будем на них останавливаться, но отметим, что в этой статье мы будем говорить не об ошибочной информации (такой как опечатки или случайно вкравшиеся неточности), а об информации искажавшейся намеренно. 

Фейки можно встретить практически в любой форме — тексте, видео или аудио контенте. Поговорим сначала о последних. Для создания аудио и видео фейков существует специальный инструментарий, построенный на глубоком обучении (deep learning). Искаженные таким образом факты называются дипфейками [1, 2]. Кажется, что уже все видели их примеры — эти видеоклипы с различными знаменитостями, которые говорили или делали что-то, чего на самом деле не было (в [3] есть небольшой таймлайн с известными дипфейками), многие пранкеры используют дипфейки в своих звонках. Однако дипфейки это не развлечение, а серьезная угроза: продвинутые мошенники их уже освоили и во-всю пускают в дело [4, 5].

Первое что приходит на ум в плане распознавании дипфейков это специализированные методы обработки изображений (аудио, для звукозаписей), как вариант, использующие те же методы машинного обучения. Однако тут есть сложность: модели машинного обучения совершенствуются, качество их выдачи растет. Будет ли в будущем возможно определять подлинность с помощью только анализа изображения — вот это вопрос, и, кажется, ответ на него отрицательный.

Другой вариант борьбы с дипфейками — это повсеместное внедрение электронных подписей объектов, блокчейн технологий, и тому подобных решений, которые позволят отделять официальный контент от неофициального. Но это конечно не решит проблему, а только позволит снизить их влияние. 

А вот что действительно могло бы помочь, так это применение подходов управления данными для распознавания дипфейков и просто проверки фактов, о чем мы и будем говорить в этой статье. Более конкретно, речь пойдет о подходах управления мастер-данными [6, 7, 12] (Master Data Management) и связанными дисциплинами.

Идея проста: самый очевидный способ проверки информации — это сопоставление ее из различных источников. Например, если проверяется фотография из социальной сети, то наличие отметок нескольких разных пользователей (отметить себя на этой фото, либо какое-то место на фото) является сильным свидетельством в пользу подлинности фотографии.

Другой пример касается проверки видеофрагмента, который по сути является последовательностью фотокадров. В этом случае для того, чтобы подтвердить подлинность вполне логично сопоставить задний фон с другими аналогичными снимками. И конечно, это следует делать с поправкой на время, чтобы учесть актуальность. Это игрушечные примеры (фон подделывается легко), но думаю идея ясна.

Возвращаясь же к текстовым фейкам, нужно начать с того, что для их создания может вообще не требоваться сложный инструментарий. Это в первую очередь ведет к тому, что они могут быть гораздо более распространены. Однако, текстовые фейки в каком-то смысле и более готовы к предлагаемому способу проверки, нежели чем аудио или видео дипфейки. Дело в том, что технологии извлечения фактов из текстов гораздо более зрелые (и доступные), нежели чем из видео. Поэтому, в научном сообществе автоматической проверкой подлинности текстов занимались давно, а одно из “модных” направлений называется проверкой фактов (fact checking).

Подтверждаем факты

Таким образом, по сути, в обоих случаях мы говорим о привлечении дополнительных потоков данных для подтверждения проверяемого факта. Причем этим фактом может быть как текстовая, так и фото/видео информация, голосовая, и пр. Если обобщить этот подход на все типы фактов, то первичнаяобработка фактов (проводимая, как правило, автоматически и еще до анализа фактов) до фильтрации фейков разбивается на следующие три задачи:

1) Поиск альтернативных потоков данных— это могут быть социальные сети, новостные ленты, фотоснимки тех же мест/людей/объектов и пр. Здесь важно говорить именно о потоках данных, т.е. наборах объектов, имеющих временную отметку. Это нужно чтобы учесть актуальность сравниваемой информации с проверяемым фактом, у которого, как правило, более позднее время события.

2) Сопоставление контекста.В зависимости от проверяемого факта и природы данных используются различные алгоритмы сопоставления данных (data matching) [8, 9] для того, чтобы идентифицировать контекст данного альтернативного потока данных с проверяемым фактом, т.е. чтобы проверить, что альтернативный источник информации и проверяемый говорят об одном и том же.

Эта задача похожа на управление метаданными в разделе руководства данными (Data Governance, DG) [10]. Поскольку при решении задачи о сопоставлении данных из разных источников (Master Data Management, MDM), сначала выравнивается бизнес-глоссарий (Business Glossary) среди всех источников. Далее сводится единая модель данных, т.е. собирается вместе вся описательная часть данных (атрибуты, типовые значения, справочники) — в итоге централизуются метаданные. 

3) Проверка данных факта.Как только идентифицировано, что альтернативный и проверяемый факты говорят об одном и том же временном промежутке, то происходит сравнение уже непосредственных значений данных.

Что все это значит на практике? Для простого примера проверки видеофрагмента — альтернативным потоком данныхмогут быть фото/видео из социальных сетей этого же места (возможно, с другими людьми). Сопоставление контекста— фильтрация того подмножества фото, которые подходят по времени и месту описываемых событий проверяемого факта. А проверкой данных фактабудет сравнение одинаковых элементов «картинок» подтвержденного фото.

Более интересным (и актуальным) является проверка факта из новостной ленты. Здесь мы говорим о текстовой или голосовой информации (голосовая легко приводится к тексту, но с потерей эмоциональной составляющей, что также может служить предметом анализа). Сперва будет необходимо провести подготовку этого факта к проверке. А именно выделить ключевые слова (теги).

Например, факт «штраф $ некоторой корпорации X в Японии из-за нарушений правил экологии, датируемый 30.04.2022» будет содержать следующие теги:

«корпорация = X»

«страна = Япония»

«время = 30.04.2022»

«действие 1 = штраф $»

«действие 2 = нарушений правил экологии»

Альтернативными источниками данныхздесь должны быть другие новостные ленты (однако, будет важно сразу убрать т.н. «репосты»), официальные страницы/каналы корпорации, гос.ведомств, биржевые ленты. В рамках задачи сопоставления контекстамы сможем фильтровать информацию по указанным тегам, т.е. уделить больше внимания японским новостным лентам и новостям из Японии, там, где упоминается корпорация X. Возможно уделить внимание всем новостям по тегу «действие 2» поскольку важно знать, это были штрафы за нарушения только для X или во всей отрасли? А также необходимо захватить новости смежных/соседних промежутков времени.

В итоге, в рамках проверки данных фактаследует сопоставить данные из отфильтрованных выше источников и принять решение о подлинности проверяемого факта. Согласитесь, что было бы странно, если нигде не найдется подтверждения. Да, об этом могут не писать на официальном сайте корпорации X, пытаясь скрыть этот факт. Однако, в современном мире практически невозможно утаить какую-либо информацию, вписанную в публичную плоскость. Конечно, можно сказать, что есть много репостов (мы их уже попытались отсеять выше) и интернет-изданий, которые публикуют информацию, не проверяя. Однако, имеет смысл «руководствоваться статистикой «больших чисел» — если информация нашла подтверждение в большинстве альтернативных источников, то это служит признаком проверяемости (мы не ставим знак равенства между проверяемостью и подлинностью, т.к. разная информация имеет различные критерии подлинности, например подлинность юридически-важной информации отличается от голословных высказываний в социальных сетях).

Базы знаний – в помощь

Понятно, что реальные технологические решения несколько сложнее, и они дают ответы, следуя языку data matching алгоритмов, т.е. в процентах вероятности совпадения. А далее к этому применяются шаблоны принятия решений из разных предметных областей. В итоге мы получим ответ в виде вероятности подлинности факта, а затем применим субъективные пороговые значения, в зависимости от риска и последствий принятия того или иного решения в отношении проверяемого факта.

Тема очень наукоемкая, например, одним из возможных приемов проверки фактов (fact checking) могут быть системы использующие базы знаний (knowledge bases), более того, уже строят бенчмарки для подобных систем [11]. В таких системах факты часто представляют тройками субъект-предикат-объект, сама база знаний будет описываться в виде графа, где в вершинах будут сущности (субъекты или объекты), а ребра это предикаты на сущностях. Соответственно, на этом графе и производят проверку путем логического вывода.

Но не будем вдаваться глубже в теорию управления данными и опустим рассказ о false-positive и true-negative примерах, а также о различных кейсах того, как и где цена ошибки играет роль. Вместо этого вернемся к применению управления данными для распознавания использования дипфейк’ов для случаев мошенничества и сознательной дезинформации. 

Представьте себе, что Вам позвонил близкий родственник и попросил сообщить конфиденциальную информацию по телефону, или же сказал что-то, подталкивающее к определенным действиям.

Понятно, что можно использовать указанный выше MDM-подход. Взять еще больше источников данных и можно надеяться, что дипфейк был подготовлен плохо (в спешке, без учета внимания к деталям) и неточности вылезут на сопоставлении деталей. Однако, хорошо подготовленная дезинформация может выдержать такую проверку.

А вот что гораздо сложнее «сымитировать» — это любое отклонение от «положения устойчивости», т.е. от того, к чему злоумышленники заранее подготовились. Для примера с имитацией голоса — это может быть вопрос, связанный с прошлым опытом, либо даже вопрос о текущей погоде (поможет, если голос был заранее записан или звонит робот). Обобщая, эту технику называют «вопрос невпопад», т.е. диалог идет не по заранее подготовленной траектории. А в случае видеозвонка можно попросить собеседника покрутить камерой или лицом, что позволит увидеть дефекты изображения (в [3] есть список). Модель на которой построен дипфейк может не быть приспособленной для нестандартных положений лица и это сразу будет видно. Конечно, это всё не применимо, если у ситуации в которой проявляется дипфейк нет интерактивности.

Эта проверка будет вечной

Важно понимать, что анализ фейков не является «разовой задачей». Фейки будут появляться постоянно, и, вероятно, в силу все большей доступности технологии их поток будет только нарастать. Поэтому для эффективной борьбы с ними следует построить замкнутый цикл обработки поступающей информации, наподобие того, как это устроено в системах управления данными [12]. Некоторые соображения о такой системе:

- По результатам обработки фейков можно организовать обратную связь для коррекции и настройки (fine-tuning) алгоритмов, правил и моделей машинного обучения используемых сопоставления контекста и совпадения (matching) информации.

- В областях работы с качеством данных (Data Quality, DQ) и управления мастер-данными (Master Data Management, MDM) принято наделять источники информации различными степенями доверия, в зависимости от качества и достоверности данных, которые меняются со временем. Здесь этот подход также применим в полной мере.

- Наверное на первых порах будет сложно получить полностью автоматическую систему. Однако, систему можно будет использовать в полуавтоматическом режиме, и поэтому очень важно чтобы она могла давать объяснения, почему тот или иной объект считается фейком.

В заключение можно сказать, что автоматическое выявление фейков (и дипфейков) это достаточно молодая область, в которой есть множество как сложностей, так и возможностей. Эта задача может привнести (и уже привносит) новую популярность в классические методы управления информацией. При этом, можно с уверенностью сказать, что востребованность подходов к выявлению дипфейков будет расти, так как будет расти и популярность инструментария для их создания, а также его доступность, что в результате приведет к огромной волне фейков. Кроме того, модели для создания фейков будут совершенствоваться, а качество результатов будет только улучшаться. Если сейчас неподготовленный человек еще может разглядеть нестыковки в большинстве сгенерированных видео, то через пять-десять лет это будет сделать гораздо труднее, если вообще возможно. И если не начать прямо сейчас строить knowledge-based системы по их распознаванию, то не окажемся ли мы не в силах отличить реальность от сгенерированной картинки?

[1] Deborah G. Johnson and Nicholas Diakopoulos. 2021. What to do about deepfakes. Commun. ACM 64, 3 (March 2021), 33–35. https://doi.org/10.1145/3447255

[2] Samuel Greengard. 2019. Will deepfakes do deep damage? Commun. ACM 63, 1 (January 2020), 17–19. https://doi.org/10.1145/3371409

[3] Increasing Threats of Deepfake Identities, Department of Homeland Security https://www.dhs.gov/sites/default/files/publications/increasing_threats_of_deepfake_identities_0.pdf

[4] Невооруженным ухом: как аудиодипфейки делают из мошенников крупных боссов. Клонирование голоса становится новым инструментом аферистов. Мария Немцева.  Известия, 21 августа 2021, 00:02. https://iz.ru/1209251/mariia-nemtceva/nevooruzhennym-ukhom-kak-audiodipfeiki-delaiut-iz-moshennikov-krupnykh-bossov

[5] Эффект зловещей долины: как распознать дипфейк и не дать себя обмануть.  Михаил Кузнецов. 10 сентября 2021 г. https://www.forbes.ru/finansy/439601-effekt-zlovesej-doliny-kak-raspoznat-dipfejk-i-ne-dat-seba-obmanut

[6] David Loshin. 2008. Master Data Management. Morgan Kaufmann Publishers Inc., San Francisco, CA, USA.

[7] Mark Allen and Dalton Cervo. 2015. Multi-Domain Master Data Management: Advanced MDM and Data Governance in Practice (1st. ed.). Morgan Kaufmann Publishers Inc., San Francisco, CA, USA.

[8] Yuliang Li, Jinfeng Li, Yoshihiko Suhara, Jin Wang, Wataru Hirota, and Wang-Chiew Tan. 2021. Deep Entity Matching: Challenges and Opportunities. J. Data and Information Quality 13, 1, Article 1 (March 2021), 17 pages. https://doi.org/10.1145/3431816

[9] Ihab F. Ilyas and Xu Chu. 2019. Data Cleaning. Association for Computing Machinery, New York, NY, USA.

[10] DAMA-DMBOK. Свод знаний по управлению данными. Dama International. Олимп-Бизнес. 978-5-9693-0404-8. 828с. 2020

[11] Viet-Phi Huynh and Paolo Papotti. 2019. Buckle: evaluating fact checking algorithms built on knowledge bases. Proc. VLDB Endow. 12, 12 (August 2019), 1798–1801. https://doi.org/10.14778/3352063.3352069

[12] S.V. Kuznetsov and D.V. Koznov. Master data management in an iterative approach. Ontology of Designing. Vol 11, no 2, 170-184, ISSN 2223-9537, ISSN 2313-1039.

Георгий Чернышев

Сергей Кузнецов