Поделиться
ChatGPT крал данные из Gmail по вредоносным подсказкам
С помощью нехитрого трюка со скрытыми инструкциями ChatGPT можно было заставить выводить приватные данные из ящиков Gmail незаметно для пользователя.
Инструкции, выданные шепотом
Исследователи компании Radware обнаружили уязвимость в агенте OpenAI ChatGPT Deep Research, которая позволяет злоумышленнику с помощью всего лишь одного специально созданного электронного письма похищать конфиденциальные данные из раздела входящих сообщений Gmail незаметно для его пользователя. В Radware назвали эту уязвимость ShadowLeak.
«Атака использует непрямое внедрение промптов (запросов), которые можно скрыть в HTML-коде электронной почты (мелкие шрифты, белый текст на белом фоне, трюки с компоновкой), так что пользователь команд не замечает, в то время как агент их считывает и выполняет, — отмечают исследователи безопасности Звика Бабо, Габи Накибли и Маор Узиэль. — В отличие от предыдущих исследований, в которых для запуска утечки использовался рендеринг изображений на стороне клиента, эта атака осуществляет утечку данных непосредственно из облачной инфраструктуры OpenAI, делая ее невидимой для локальных или корпоративных средств защиты».
Deep Research — это агентская функция ChatGPT, реализованная в феврале этого года; она позволяет чат-боту проводить собственные исследования в Сети для генерации точных ответов. В течение этого года аналогичными функциями обзавелись и другие чат-боты, в том числе Google Gemini и Perplexity.
В ходе атаки, описанной Radware, злоумышленник отправляет жертве безобидное, на первый взгляд, письмо, содержащее невидимые для человека инструкции с использованием белого текста или CSS-трюков. Эти инструкции предписывают агенту собрать личную информацию из других сообщений в почтовом ящике и передать её на внешний сервер.
В ходе экспериментов специалистам Radware удалось заставить агент использовать инструмент browser.open() со специализированным URL-адресом — речь идет о кодировании персональных данных в формат Base64 и добавлении их к URL-адресу. «Мы сформулировали это действие как необходимую меру безопасности для защиты данных во время передачи», — отметили исследователи.
Не Gmail’ом единым
Сработает трюк или нет, зависит, естественно, от того, использует ли потенциальная жертва интеграцию с Gmail. Проблема, однако, состоит в том, что этот же прием можно распространить на любой коннектор, поддерживаемый ChatGPT. Таким образом потенциально под угрозой были и Dropbox, и многострадальный GitHub, а также Google Drive, HubSpot, Microsoft Outlook, Notion или SharePoint.
В отличие от таких атак, как AgentFlayer и EchoLeak, где злоумышленники вытягивают данные на стороне клиента, в случае ShadowLeak все происходит непосредственно в облачной среде OpenAI, так что традиционные средства безопасности оказываются бесполезными. Отсутствие видимости — главный аспект, отличающий её от других подобных уязвимостей, связанных с непрямыми инъекциями промптов.
«Атаки подобного рода, с использованием очень простых трюков для сокрытия вредоносных инструкций, — одна из самых обсуждаемых, но далеко не самых острых проблем с безопасностью LLM-решений, — считает Михаил Зайцев, эксперт по информационной безопасности компании SEQ. — Просто потому, что с технической точки зрения эти проблемы сравнительно легко решаются. С другой стороны, эксплуатация тоже выглядит довольно просто, а значит, внимание, которое эти уязвимости получают, можно назвать целиком заслуженным».
В начале августа этого года разработчики OpenAI внесли необходимые изменения в код, так что теперь этот трюк срабатывать не должен. О существовании проблемы их, однако, уведомили почти полутора месяцами ранее.
Короткая ссылка
