Уязвимость в Google Gemini раскрывает новые риски внедрения промтов для предприятий

Недавно обнаруженная уязвимость в системе Google Gemini демонстрирует, как злоумышленники могут использовать обычные приглашения в календарь для влияния на поведение модели. Это подчёркивает растущие риски безопасности в условиях, когда предприятия активно внедряют генеративный ИИ в повседневные рабочие процессы и механизмы принятия решений.

Суть уязвимости

Уязвимость была выявлена компанией Miggo, специализирующейся на безопасности приложений. В отчёте компании указано, что Gemini анализирует полный контекст событий в календаре пользователя — включая названия, время, участников и описания. Это позволяет модели отвечать на вопросы о расписании пользователя на день.

Лиад Элияху (Liad Eliyahu), руководитель исследовательского отдела Miggo, пояснил механизм атаки: «Поскольку Gemini автоматически обрабатывает и интерпретирует данные событий, злоумышленник, способный влиять на поля событий, может внедрить инструкции на естественном языке, которые модель впоследствии может выполнить».

Более широкие риски для LLM-систем

Исследователи Miggo отмечают, что обнаруженная уязвимость подчёркивает более масштабную проблему безопасности систем на базе больших языковых моделей (LLM). В таких системах атаки нацелены на манипулирование смыслом и контекстом, а не на эксплуатацию явно идентифицируемого вредоносного кода.

Элияху подчеркнул: «Уязвимость Gemini — это не просто изолированный случай. Это пример того, как механизмы обнаружения с трудом успевают за угрозами, специфичными для ИИ. Традиционные предположения о безопасности приложений (включая распознаваемые шаблоны и детерминированную логику) не применимы к системам, которые рассуждают на основе языка и намерений».

Сравнение с традиционными атаками

Проблема значима не потому, что она похожа на обычный программный дефект, а потому, что демонстрирует, как ИИ-системы могут быть подвержены манипуляциям, аналогичным атакам с использованием социальной инженерии.

Сунил Варки (Sunil Varkey), аналитик по кибербезопасности, отметил: «Традиционно приглашение в календарь, электронное письмо или документ рассматриваются только как данные. Злоумышленнику необходимо нарушить логику кода или безопасность памяти, чтобы заставить систему „что-то сделать“, а не полагаться только на данные».

Однако в данном случае «ошибка» связана не столько с несовершенством кода, сколько с тем, как LLM интерпретирует язык в контексте, в сочетании с разрешениями, которые модель имеет в подключённых приложениях. Сакши Гровер (Sakshi Grover), старший менеджер по исследованиям в IDC Asia Pacific Cybersecurity Services, пояснила: «Это сочетание превращает обычный бизнес-объект, такое как приглашение в календарь, в полезную нагрузку для атаки. Это показывает, что безопасность LLM у крупных поставщиков всё ещё отстаёт от реальных моделей угроз предприятий, особенно в отношении косвенного внедрения промтов, использования инструментов и обработки данных между приложениями».

Риски для предприятий

Аналитики указывают на значительную опасность для корпоративных сред, где организации стремительно внедряют ИИ-помощников, подключённых к чувствительным системам.

Чандрасекхар Билугу (Chandrasekhar Bilugu), технический директор SureShield, отметил: «Поскольку внутренние помощники обрабатывают данные из электронной почты, календарей, документов и инструментов для совместной работы, одна скомпрометированная учётная запись или фишинговое письмо могут незаметно внедрить вредоносные инструкции. Когда сотрудники выполняют обычные запросы, модель может обработать этот манипулированный контекст и непреднамеренно раскрыть конфиденциальную информацию».

Гровер добавила, что угрозы, связанные с внедрением промтов, перешли из теоретической плоскости в операционную. В исследовании IDC в Азиатско-Тихоокеанском регионе, проведённом в августе 2025 года, предприятия в Индии назвали «внедрение промтов в LLM, манипулирование моделями или взлом ИИ-помощников» второй по значимости угрозой, связанной с ИИ, сразу после «отравления моделей или враждебных входных данных во время обучения ИИ».

Меры по обеспечению безопасности

Кит Прабху (Keith Prabhu), основатель и генеральный директор Confidis, рекомендует руководителям по безопасности включить осведомлённость о безопасности ИИ в ежегодное обучение сотрудников по информационной безопасности. Кроме того, необходимо усилить защиту конечных точек с учётом новых векторов атак.

Гровер советует организациям исходить из предположения, что атаки с внедрением промтов будут происходить, и сосредоточиться на ограничении потенциального ущерба, а не на попытке полностью устранить риск. Для этого необходимо:

• обеспечить принцип минимальных привилегий для ИИ-систем;
• тщательно ограничить разрешения инструментов;
• ограничить доступ к данным по умолчанию;
• проверять каждое действие, инициированное ИИ, на соответствие бизнес-правилам и политикам конфиденциальности.

«Цель состоит не в том, чтобы сделать модель невосприимчивой к языку — это невозможно, — а в том, чтобы даже в случае манипуляции модель не могла незаметно получить доступ к большему объёму данных, чем положено, или извлечь информацию через вторичные каналы», — добавила Гровер.

Варки рекомендует руководителям по безопасности пересмотреть подход к размещению ИИ-помощников в своих средах, предостерегая от их восприятия как простых инструментов поиска. Он советует применять принципы Zero Trust с жёсткими ограничениями:

• ограничить доступ к данным в соответствии с принципом минимальных привилегий;
• обеспечить, чтобы ненадёжный контент не мог стать доверенной инструкцией;
• требовать одобрения для действий с высоким риском, таких как обмен, отправка или запись данных в бизнес-системы.

Прокомментировать в Телеграм: https://t.me/n8nhow

Подписаться на канал обучения n8n: https://t.me/n8ncoaching