Как шпионы и мошенники используют Gemini AI

Группа аналитики угроз Google (GTIG) проанализировала значительную эволюцию киберугроз с появлением вредоносного ПО, использующего возможности искусственного интеллекта (AI). Эти сложные угрозы, такие как PROMPTFLUX и PROMPTSTEAL, применяют большие языковые модели (LLM), такие как Gemini AI, для динамического изменения своего поведения, что затрудняет их обнаружение и предотвращение.

Выдающиеся угрозы и их способности

PROMPTFLUX выделяется благодаря продвинутому использованию API Gemini AI для переписывания своего кода на VBScript каждый час. Посылая запросы в Gemini 1.5 Flash, это вредоносное ПО генерирует запутанные варианты своего кода, что позволяет ему избегать методов обнаружения на основе сигнатур. Хотя PROMPTFLUX все еще находится в стадии разработки и не имеет активных возможностей компрометации, он служит примером нового вида метаморфного вредоносного ПО, которое меняется в процессе выполнения.

PROMPTSTEAL, еще одно вредоносное ПО на основе AI, уже использовалось в реальных операциях российской группы APT28 против украинских целей. Оно задает вопросы LLM для создания вредоносных команд в реальном времени, что усиливает его способность избегать защиты и адаптироваться к различным условиям.

Эксплуатация со стороны госструктур и киберпреступников

Неправомерное использование инструментов AI касается не только технических инноваций, но и охватывает целые циклы атак. Государственные акторы из Китая, Ирана, Северной Кореи и России, а также киберпреступные группы все активнее интегрируют AI в свою работу. Это касается различных аспектов, начиная от разведки и социальной инженерии и заканчивая разработкой систем командования и контроля (C2) и эксфильтрацией данных.

Группа APT42 из Ирана попыталась создать AI-агентов, способных преобразовывать естественный язык в SQL-запросы для отслеживания отдельных лиц, демонстрируя различные применения AI в кибершпонаже.

Проблемы и динамика рынка

Злоумышленники также используют тактики социальной инженерии для обхода защитных мер AI, часто выдавая себя за исследователей безопасности, участников CTF или студентов, чтобы получить несанкционированный доступ к возможностям AI. Это привело к появлению подпольного рынка, предлагающего незаконные инструменты для генерации вредоносного ПО, создания дипфейков, автоматизации фишинга и эксплуатации уязвимостей. Эти инструменты становятся все более доступными для менее опытных пользователей благодаря упрощенным интерфейсам и модели подписки.

Ответные меры и усилия по смягчению последствий

В ответ на эти события группа GTIG активно работает над отключением вредоносных аккаунтов и улучшением защиты моделей AI. Уроки, извлеченные из отслеживания и противодействия этим угрозам, активно интегрируются в разработку продуктов Google для более эффективной защиты от развивающихся угроз.

Появление вредоносного ПО с поддержкой AI представляет собой знаковый момент в кибербезопасности, подчеркивая необходимость постоянной бдительности и адаптации для защиты от все более интеллектуальных угроз.

Прокомментировать в Телеграм: https://t.me/n8nhow

Подписаться на канал обучения n8n: https://t.me/n8ncoaching