Уязвимости Gemini в Google AI Platform позволяют получать доступ к данным и местоположению

Исследователи кибербезопасности сообщили о трех недавно исправленных уязвимостях в искусственном интеллекте (AI) Gemini от Google, которые при успешной эксплуатации могли бы подвергнуть пользователей серьезным рискам утечки данных и нарушения конфиденциальности.

По словам исследователя безопасности Tenable Лива Матана, эти уязвимости сделали Gemini уязвимым для атак с инъекцией запросов в модель персонализации поиска, атак с инъекцией логов в Gemini Cloud Assist и эксфиляции сохраненной информации пользователя и данных о его местоположении с помощью инструмента Gemini Browsing Tool.

Классификация уязвимостей

Уязвимости были совместно охарактеризованы как Gemini Trifecta и относятся к трем различным компонентам пакета Gemini:

• Атака с инъекцией запросов в Gemini Cloud Assist, которая может позволить злоумышленникам эксплуатировать облачные сервисы, скрывая запрос внутри заголовка User-Agent в HTTP-запросе к Cloud Function и другим службам.
• Уязвимость инъекции поиска в модели персонализации поиска Gemini, которая может дать возможность злоумышленникам внедрять запросы и контролировать поведение AI-чатбота, чтобы раскрывать сохраненные данные пользователя и информацию о его местоположении.
• Косвенная уязвимость инъекции запросов в инструменте Gemini Browsing Tool, позволяющая злоумышленникам эксфилировать информацию о пользователе на внешние серверы, используя внутренний вызов Gemini для обобщения содержимого веб-страницы.

Потенциальные последствия

Tenable сообщила, что эти уязвимости могли бы быть использованы для встраивания личных данных пользователя в запрос к злонамеренному серверу без необходимости в рендеринге ссылок или изображений со стороны Gemini.

Одним из вероятных сценариев атаки могло бы быть использование злоумышленником инъекции запроса, который заставляет Gemini запрашивать все публичные ресурсы или некорректные конфигурации IAM, создавая ссылку с этой чувствительной информацией.

В случае второй атаки злоумышленник должен сначала убедить пользователя посетить сайт, на котором он установил вредоносные поисковые запросы, содержащие инъекции запросов, тем самым отравляя историю просмотров жертвы.

После соблюдения принципа ответственного раскрытия информации, Google прекратил отображение гиперссылок в ответах для всех логов и усилил меры безопасности против инъекций запросов.

Таким образом, Gemini Trifecta продемонстрировала, что искусственный интеллект может быть как объектом атаки, так и средством для ее осуществления. Организациям следует учитывать безопасность при внедрении AI.

Прокомментировать в Телеграм: https://t.me/n8nhow

Подписаться на канал обучения n8n: https://t.me/n8ncoaching