Исследователи находят уязвимости ChatGPT, которые позволяют злоумышленникам обманывать ИИ

Кибербезопасности исследователи раскрыли новый набор уязвимостей, влияющих на чат-бота искусственного интеллекта (ИИ) ChatGPT от OpenAI, которые могут быть использованы злоумышленником для кражи личной информации из памяти пользователей и истории чатов без их ведома.

Семь уязвимостей и техник атак, по данным Tenable, были обнаружены в моделях GPT-4o и GPT-5 от OpenAI. Некоторые из них были устранены OpenAI.

Эти проблемы подвергают ИИ-систему косвенным атакующим инъекциям запросов, позволяя атакующему манипулировать ожидаемым поведением большой языковой модели (LLM) и обмануть её, заставив выполнять непреднамеренные или злонамеренные действия, как указано в отчёте исследователей безопасности Моше Бернштейна и Лив Матан, опубликованном в The Hacker News.

Определенные недостатки

• Косвенная уязвимость инъекции запроса через доверенные сайты в контексте просмотра: это включает в себя запрос ChatGPT на суммирование содержимого веб-страниц с добавленными вредоносными инструкциями в комментариях, что приводит к выполнению этих инструкций моделью.
• Уязвимость нулевого клика в косвенной инъекции запросов в контексте поиска: включает обман LLM, заставляя его выполнять вредоносные инструкции, просто запрашивая сайт в форме запроса на естественном языке, поскольку сайт мог быть индексирован такими поисковыми системами, как Bing и соответствующим краулером OpenAI.
• Уязвимость инъекции запроса через одно нажатие: создание ссылки в формате «chatgpt[.]com/?q={Prompt},» что приводит к автоматическому выполнению запроса в параметре «q=» моделью.
• Обход механизма безопасности: использует то, что домен bing[.]com находится в белом списке ChatGPT как безопасный URL для установки ссылок на отслеживание рекламы Bing, позволяя маскировать вредоносные URL и рендерить их в чате.
• Техника инъекции в разговоре: включает вставку вредоносных инструкций на веб-сайт и запрос ChatGPT на его суммирование, что приводит к неожиданным ответам от модели в последующих взаимодействиях.
• Техника скрытия вредоносного контента: включает укрытие вредоносных запросов, используя ошибку в том, как ChatGPT обрабатывает markdown, что мешает рендерингу данных, появляющихся на одной строке после первого слова.
• Техника инъекции памяти: отравление памяти пользователя ChatGPT, скрывая нежелательные инструкции на веб-сайте и запрашивая модель о суммировании.

Дополнительные техники атак

Раскрытие уязвимостей произошло на фоне исследований, демонстрирующих различные виды атак с инъекцией запросов против ИИ-инструментов:

• PromptJacking: техника, использующая три уязвимости удалённого выполнения кода в интерфейсах Anthropic Claude для достижения неочищенной инъекции команд.
• Claude pirate: злоупотребляет API файлов Claude для экстракции данных с помощью косвенных инъекций запросов.
• Смещение сессий агентов: позволяет злонамеренному ИИ-агенту использовать установленную сессию для инъекции дополнительных инструкций между законным клиентским запросом и ответом сервера.
• Prompt inception: использует инъекции запросов для управления ИИ-агентом с целью усугубления предвзятости или распространения ложной информации.
• Shadow escape: нулевая клик-атака, использующая стандартные настройки протокола контекста модели для кражи чувствительных данных.
• Косвенная инъекция запросов, нацеленная на Microsoft 365 Copilot: использует встроенную поддержку диаграмм Mermaid для экстракции данных.
• CamoLeak: уязвимость в GitHub Copilot Chat, позволяющая скрытую экстракцию секретов из приватных репозиториев.
• LatentBreak: белый ящик атаки, генерирующий естественные противодейственные запросы с низкой сложностью.

Выводы показывают, что открытие ИИ-чат-ботов для внешних инструментов и систем, требуемое для создания ИИ-агентов, увеличивает поверхность атаки, предоставляя злоумышленникам больше возможностей скрыть вредоносные запросы, которые в конечном итоге будут обработаны моделями.

Исследователи Tenable отметили, что «инъекция запросов — это известная проблема, связанная с работой LLM, и, к сожалению, её, вероятно, не удастся решить систематически в ближайшее время.» Они подчеркивают, что производители ИИ должны убедиться, что все их механизмы безопасности работают должным образом, чтобы ограничить потенциальный ущерб от инъекции запросов.

Это развитие событий происходит на фоне исследований академиков из Техасского A&M, Техасского университета и Университета Пердью, которые обнаружили, что обучение ИИ-моделей на «мусорных данных» может привести к «дегенерации мозга» LLM, предупреждая о том, что «сильная зависимость от Интернет-данных приводит к контаминации контента».

Данные исследования подчеркивают необходимость разработки более безопасных ИИ-агентов, чтобы свести к минимуму риски, связанные с инъекциями и обработкой вредоносных команд.

Прокомментировать в Телеграм: https://t.me/n8nhow

Подписаться на канал обучения n8n: https://t.me/n8ncoaching