Три основных сценария вредоносного использования дипфейков

13 июня 2024 года стартап Sensity, специализирующийся на выявлении дипфейков, выпустил отчет, в котором рассказано о текущем положении дел с вредоносным использованием контента, созданного с помощью генеративного ИИ.

В частности, по данным экспертов на момент публикации отчета в мире насчитывалось 10206 инструментов на основе ИИ для генерации изображений, 2298 инструментов для замены лица или создания цифровых аватаров и 1018 инструментов для генерации или клонирования голоса.

Настолько широкая доступность эффективных средств для генерации аудио-, видео- и визуального контента неизбежно несет в себе риски. Обнаруженные экспертами сценарии вредоносного использования дипфейков и другого контента, сгенерированного с помощью ИИ-инструментов, можно разделить на три основных категории:

• Влияние на общественное мнение и распространение дезинформации.
• Мошенничество, нацеленное на отдельных людей.
• Обход систем защиты и мошенничество, нацеленное на организации, в первую очередь финансовые.

Поговорим подробнее о каждой из этих категорий угроз.

Эксперты отмечают широкое использование дипфейков в информационных кампаниях, которое происходит практически по всему миру. В наибольшей степени оно заметно на Ближнем Востоке, а также в Южной и Юго-Восточной Азии. На карте ниже красным обозначены страны, в которых контент, сгенерированный ИИ, применяется для влияния на общественное мнение наиболее массово.
Чаще всего целями таких кампаний становятся политики (39,2%), знаменитости (29,4%) и бизнесы (19,6%).

Сгенерированный ИИ контент использовался в информационных кампаниях, связанных с конфликтами России и Украины, а также Израиля и Палестины. Кроме того, они выделяют несколько масштабных эпизодов распространения дипфейк-видео в ходе предвыбороной кампании в США.

Также следует вспомнить широкое применение ИИ-инструментов и созданного с их помощью контента на самом массовом электоральном мероприятии в мировой истории — парламентских выборах в Индии 2024 года, на которых проголосовало 642 млн человек. Во время предвыборной кампании было зафиксировано как масштабное легальное использование цифровых аватаров, так и множество случаев применения дипфейков для распространения дезинформации.

Еще одно направление вредоносного использования контента, сгенерированного ИИ, — это мошенничество, нацеленное на пользователей соцсетей. Применение дипфейков для мошенничества почти в одинаковой степени затрагивает все страны мира.

Массовое мошенничество на основе дипфейков в основном представлено видеороликами, которые мошенники публикуют в социальных сетях или показывают в качестве рекламы внутри мобильных приложений. Героями этих роликов, как правило, становятся различные глобальные и региональные знаменитости: узнаваемые политики, успешные бизнесмены, несколько реже в них фигурируют популярные деятели культуры и спортсмены.

В роликах зрителей информируют о тех или иных возможностях (в реальности не существующих) резко улучшить свое финансовое положение. Например, зрителю обещают различные выплаты, субсидии, компенсациях и так далее, якобы положенные по закону.

В других случаях ролики рассказывают о невероятно выгодных инвестициях, которые не требуют от инвестора ни серьезных вложений, ни каких-либо знаний. Итог всегда один и тот же: от жертвы требуется отправить злоумышленникам деньги, с которыми ей придется попрощаться.

В дополнение к тысячам разнообразных инструментов для генерации контента с помощью ИИ, о которых мы упомянули выше, эксперты также насчитали 47 специализированных мошеннических утилит, предназначенные для обхода процедуры KYC.

Процедура Know-Your-Customer — установление личности клиента — широко используется многими онлайн-сервисами, дистанционно работающими с финансами частных лиц. Данная практика предназначена для борьбы с мошенничеством, отмыванием денег, уклонением от уплаты налогов, финансированием терроризма и так далее. Все чаще в рамках процедуры KYC предусмотрена проверка личности на основе биометрии.

Специализированные мошеннические инструменты позволяют киберпреступникам использовать предварительно созданных цифровых клонов других людей для того, чтобы обходить KYC и создавать на их имя аккаунты в различных онлайн-сервисах, связанных с финансами. В дальнейшем эти аккаунты используются для той или иной преступной деятельности — в первую очередь речь идет о мошенничестве или отмывке доходов, полученных от других киберпреступлений.

С помощью дипфейков чаще всего атакуют в первую очередь финтех (38%), но также широко распространены атаки на криптовалютные проекты (18%), торговые организации (15%), платежные сервисы (14%), онлайн-букмекеров (11%) и телеком-провайдеров (4%).

29 мая 2024 года аналитики из Deloitte представили исследование, в котором они прогнозируют, что распространение ИИ-инструментов значительно ускорит рост потерь финансового сектора, связанных с мошенничеством. По их оценкам только в США объем ущерба может вырасти с $12,3 млрд в 2023 году до $40 млрд к 2027 году. Таким образом, дипфейки могут ускорить рост мошенничества до 32% в год.

Эксперты Sensity приводят четыре намечающихся тренда вредоносного использования контента, созданного с помощью ИИ-инструментов:

• Применение сгенерированных ИИ фотографий для публикации фейковых объявлений о краткосрочной аренде может серьезно подорвать доверие потребителей к индустрии путешествий.

• Страховое мошенничество с использованием дипфейков может привести к существенным финансовым потерям и усложнить процесс получения страховых выплат.

• Использование дипфейков в романтическом мошенничестве создает значительные финансовые и эмоциональные риски. Как мы недавно рассказывали, легендарные нигерийские мошенники уже практически не пишут письма о сокровищах принца, а вовсю пользуются дипфейками.

• Наконец, одна из самых важных фундаментальных проблем состоит в том, что широкое распространение ИИ-инструментов подрывает доверие к удаленным коммуникациям в целом. Причина этого состоит в том, что дипфейки и клонирование голоса в реальном времени выводят мошенничество на совершенно новый уровень.