Уязвимости ‘Gemini Trifecta’ в Google AI подчеркивают риски косвенных атак

Компания Tenable обнаружила три уязвимости (которые уже были устранены) в наборе инструментов Google Gemini AI, которые мы назвали Gemini Trifecta. Эти уязвимости подвергли пользователей серьезным рискам в области конфиденциальности. Они сделали Gemini уязвимым к:

• атакам инъекции поиска на модели персонализации поиска;
• атакам инъекции ввода логов в Gemini Cloud Assist;
• эксфильтрации сохраненной информации и данных о местоположении пользователя с использованием инструмента Gemini Browsing.

Основные выводы

Компания Tenable обнаружила три уязвимости в Gemini — AI-ассистенте Google, которые ставят под угрозу конфиденциальность данных пользователей. Gemini Trifecta демонстрирует, что AI может стать не только целью атак, но и их инструментом. С ростом использования AI организации не могут игнорировать безопасность.

Защита инструментов AI требует видимости их существования в среде и строгого соблюдения политик контроля. Видео proof-of-concept (POC) показывает, как злоумышленник использует JavaScript для манипуляции историей браузера жертвы, заставляет ее посетить вредоносный сайт, вставляет зловредные подсказки в Gemini, и затем эксфильтрует данные жертвы.

Общие сведения о уязвимостях

Мы обнаружили уязвимости в трех различных компонентах пакета Gemini:

• Gemini Cloud Assist — эта уязвимость инъекции подсказок в инструменте Gemini Cloud Assist Google могла позволить злоумышленникам эксплуатировать облачные сервисы, потенциально подрывая облачные ресурсы, а также создавать фишинг-атаки.
• Gemini Search Personalization Model — эта уязвимость инъекции поиска предоставила злоумышленникам возможность манипулировать поведением Gemini и потенциально утекать сохраненную информацию и данные о местоположении, манипулируя историей поиска Chrome.
• Gemini Browsing Tool — этот недостаток позволял злоумышленникам эксфильтровать сохраненную информацию и данные о местоположении пользователя через инструмент браузера, ставя под угрозу конфиденциальность пользователя.

Хотя Google успешно устранил все три уязвимости, это открытие служит важным напоминанием о рисках безопасности, присущих высоко персонализированным AI-платформам.

Внутренние механизмы атак

С точки зрения безопасности, каждый канал ввода становится потенциальной точкой инъекции, а каждый выход — потенциальным вектором эксфильтрации. Google предпринял значительные усилия по защите Gemini AI против эксфильтрации. В частности, ответы Gemini подвергаются строгой фильтрации: изображения, гиперссылки и другие выходные функции, которые могут привести к утечке пользовательских данных, фильтруются или ограничиваются.

Мы заметили несколько защитных механизмов: ссылки в разметке перенаправляются на адрес google.com; подозрительные выходные данные обрезаются, а в некоторых случаях Gemini просто отказывается отвечать, когда обнаруживает шаблоны инъекции.

Классификация инъекций

Чтобы добиться эксфильтрации, злоумышленник сначала должен создать подсказку, которую Gemini воспримет как легитимный ввод. Это может произойти через несколько известных векторов:

• Прямая инъекция подсказки: происходит, когда пользователь явно взаимодействует с Gemini и вставляет или вводит подсказку, созданную злоумышленником.
• Косвенная инъекция подсказки: происходит, когда контролируемый злоумышленником контент безшумно интегрируется в контекст Gemini.

Эти векторы требуют социальной инженерии, такой как обман пользователя с целью заставить его попросить LLM подвести итог вредоносному сайту.

Процесс эксфильтрации данных

После того, как вредоносная подсказка была внедрена — либо непосредственно, либо косвенно — злоумышленнику нужно было получить данные. Для этого были использованы методы защиты Google. Мы заметили, что теперь Gemini не отображает гиперссылки в ответах для всех резюме логов, что делает эксфильтрацию более сложной.

Мы считали, что если злоумышленник мог внедрить подсказку, он мог бы указать Gemini запросить вредоносный URL, встраивая пользовательские данные в этот запрос. Это эксфильтрация через выполнение инструмента, а не рендеринг ответа.

Технические детали уязвимостей

Компонент Gemini Cloud Assist предназначен для помощи пользователям в анализе сложных логов в GCP, но его уязвимость позволила злоумышленникам извлекать контрольные инструкции из логов. Мы использовали инъекцию подсказок через заголовок User-Agent и отправили некорректные извлечения.

Заключение

Хотя Google предпринял меры по усилению защиты Gemini AI против эксфильтрации, результаты нашего исследования подчеркивают необходимость строгого контроля за безопасностью платформ с высокими персонализированными интерактивными системами AI. Это еще раз демонстрирует, что безопасность должна оставаться в приоритете при использовании AI.

Прокомментировать в Телеграм: https://t.me/n8nhow

Подписаться на канал обучения n8n: https://t.me/n8ncoaching