Искусственный интеллект: атакует и защищает

Машинное обучение применяется в кибербезопасности минимум с 1998 года, но появление больших языковых моделей (LLM) значительно расширило границы применимости ИИ. Он уже трансформирует сферу ИБ быстрыми темпами, позволяя защитникам частично автоматизировать свою работу. Однако нейросети создают защитникам и проблемы. Компании внедряют искусственный интеллект во все внутренние процессы — от закупок до техподдержки. Эти новые ИИ-системы тоже нуждаются в защите, поэтому Gartner предсказывает рост расходов ИБ на 15% в 2025 году. Применение нейросетей осваивают и злоумышленники, которым взломанные или специально натренированные LLM поставляют мошеннические тексты, изображения и даже вредоносное ПО.

Организации киберпреступников похожи на современный легитимный бизнес, и они стремятся снизить себестоимость атак. ИИ уже значительно повышает эффективность фишинга. Если раньше преступники рассылали шаблонные письма, изобилующие опечатками, то сегодня LLM позволяют адаптировать текст под конкретного получателя и грамотно писать на его родном языке. Недавнее исследование специалиста по кибербезопасности Брюса Шнайера и его коллег показало, что 37% участников поверили фишинговому письму, полностью составленному ИИ, и 62% — черновику от ИИ, доработанному человеком. Последний показатель сравним с эффективностью фишинга, полностью подготовленного живым специалистом (74%). Авторы также показали, что LLM на 95% снижают расходы злоумышленников и на остальных этапах атаки: сборе адресов жертв и информации о них, рассылке писем, анализе эффективности. Благодаря ИИ преступники могут одновременно увеличить масштаб и эффективность атак.

Генеративные нейросети, создающие аудио и видео, значительно упрощают и удешевляют другие виды мошенничества — атаки с применением дипфейков. Убедительные подделки голосов и внешности реальных людей применяются в мошеннических схемах со звонком от имени начальства, рекламе финансовых пирамид и регистрации в различных организациях по поддельным документам. В отчёте Identity Fraud Report компания Onfido указывает, что за 2023 год число дипфейк-атак выросло на 3000%. По прогнозам Gartner, из-за дипфейков уже к 2026 году 30% компаний откажутся от дистанционной биометрической аутентификации и верификации по лицу клиентов и сотрудников.

Claude, ChatGPT и другие LLM теоретически должны отказываться помогать в создании фишинговых текстов, вредоносного ПО и других преступных действиях. В киберподполье решают эту проблему несколькими способами: дробят задачу на небольшие фрагменты, каждый из которых трудно идентифицировать как вредоносный; используют «джейлбрейки» LLM для обхода ограничений; запускают специально натренированные преступниками небольшие модели (WormGPT, FraudGPT), основанные на LLM с открытым исходным кодом.

Даже если не делать поправку на увеличение числа атак за счёт применения ИИ преступниками, исследование 2024 ISC2 Cybersecurity Workforce Study показывает, что защитники сталкиваются с серьёзным дефицитом квалифицированных кадров и бюджетов на наём. Gartner и другие эксперты считают выходом автоматизацию при помощи ИИ. Нейросети видятся в первую очередь напарниками для живых сотрудников, которые избавляют людей от рутинных задач и выделяют вопросы, требующие первоочередного внимания. Благодаря знаниям и рецептам, заложенным в ИИ-модели, даже относительно неопытные сотрудники отдела ИБ смогут эффективнее реагировать на угрозы, находить уязвимости и проводить расследования. Полная замена людей на ИИ в сфере ИБ маловероятна, так как злоумышленники постоянно находят новые способы обмана защитных систем, что требует постоянного творческого подхода к защите.

Однако быстрому внедрению ИИ мешают незрелость многих решений и технологическая неоднородность ИБ-инструментов. Компания Verizon в отчёте 2021 Data Breach Investigations Report указывает, что крупные организации часто управляют «зоопарком» из 55–75 различных инструментов ИБ, объединить которые в единую систему сложно, — хоть с участием ИИ, хоть без него. Поэтому многие компании пока внедряют ИИ-ассистентов в отдельные процессы, где это приносит наибольший прирост эффективности:

·        Приоритизация оповещений ИБ в центре мониторинга

·        Автоматическая фильтрация ложных срабатываний

·        Обогащение информации данными киберразведки (threat intelligence)

·        Детектирование аномалий в сети и подозрительных событий

·        Сбор информации об инцидентах, уязвимостях и состоянии инфраструктуры, а также составление черновиков отчётов

·        Анализ защищённости инфраструктуры и контекстной значимости известных уязвимостей

·        Поиск информации в архивах данных по нечётким запросам, генерация справочной информации и инструкций по решению конкретных задач

При этом в перспективе IBM прочит ИИ более активную роль:

·        Защиту данных в гибридных облачных инфраструктурах, включая идентификацию «теневого ИТ» (то есть данных и приложений, о которых не знают команды ИТ и ИБ и которые не соответствуют политикам безопасности).

·        Автоматизацию реагирования на инциденты, включая составление кратких отчётов и применение соответствующих мер. Это может ускорить обработку инцидентов в среднем на 55%.

·        Мониторинг облачных сервисов на предмет аномальных запросов, которые могут указывать на скачивание и изменение информации киберпреступниками.

Некоторые применения ИИ актуальны и для злоумышленников, и для защитников — например, написание кода. Зарегистрированы случаи применения LLM при создании фишинговых веб-страниц и образцов вредоносного ПО. Эти разработки не отличаются ни новизной, ни сложностью, но без языковых моделей на их создание ушло бы значительно больше времени.

Другое «обоюдоострое» применение — поиск уязвимостей. ИИ-системы уже помогают защитникам в обнаружении настоящих уязвимостей в коммерческом ПО, но завтра это могут повторить и злоумышленники. А уже сегодня они используют ChatGPT, чтобы оптимизировать эксплуатацию известных уязвимостей в конкретных кибератаках.

Перспективное применение ИИ — объединение разнородных данных из нескольких систем с целью получения общей картины безопасности в компании. Поэтому при внедрении ИИ-решений в ИБ важно выработать комплексный подход, в котором различные инструменты ИБ имеют потенциал интеграции и смогут работать в синергии под управлением ИИ-ассистентов и людей, вооружённых ИИ. Ключевые особенности, необходимые таким решениям, — работа с открытыми API, поддержка общепринятых в ИБ форматов данных (описаний угроз и уязвимостей), а также возможность принимать команды и выдавать результаты работы в виде, удобном для обработки большими языковыми моделями.