Slack исправляет потенциальную проблему безопасности ИИ

Обновление : Slack опубликовал обновление, утверждая, что «развернул исправление для решения сообщаемой проблемы» и что в настоящее время нет никаких доказательств того, что к данным клиентов был получен доступ без авторизации. Вот официальное заявление Slack, опубликованное в его блоге :

Когда нам стало известно об отчете, мы начали расследование описанного сценария, в котором при очень ограниченных и специфических обстоятельствах злоумышленник с существующей учетной записью в том же рабочем пространстве Slack мог выманивать у пользователей определенные данные. Мы установили исправление для решения этой проблемы и на данный момент не располагаем доказательствами несанкционированного доступа к данным клиентов.

Ниже представлена ​​оригинальная статья, которая была опубликована.

Когда ChatGTP был добавлен в Slack , он должен был облегчить жизнь пользователей за счет подведения итогов разговоров, составления быстрых ответов и многого другого. Однако, по данным охранной компании PromptArmor , попытка выполнить эти и другие задачи может привести к нарушению ваших личных разговоров с помощью метода, называемого «быстрое внедрение».

Охранная фирма предупреждает, что, суммируя разговоры, она также может получить доступ к личным личным сообщениям и обмануть других пользователей Slack, заставив их заниматься фишингом . Slack также позволяет пользователям запрашивать данные из частных и общедоступных каналов, даже если пользователь к ним не присоединился. Что звучит еще страшнее, так это то, что пользователю Slack не обязательно находиться на канале, чтобы атака сработала.

Теоретически атака начинается с того, что пользователь Slack обманом заставляет ИИ Slack раскрыть закрытый ключ API, создав общедоступный канал Slack с вредоносным приглашением. Вновь созданное приглашение сообщает ИИ заменить слово «конфетти» на ключ API и отправить его на определенный URL-адрес, когда кто-то об этом попросит.

Ситуация состоит из двух частей: Slack обновил систему искусственного интеллекта, чтобы собирать данные из загрузок файлов и прямых сообщений. Во-вторых, это метод под названием «быстрое внедрение», который, как доказала компания PromptArmor, может создавать вредоносные ссылки, которые могут фишировать пользователей.

Этот метод может заставить приложение обойти обычные ограничения, изменив его основные инструкции. Поэтому PromptArmor продолжает: «Внедрение приглашения происходит потому, что [большая языковая модель] не может отличить «системное приглашение», созданное разработчиком, от остального контекста, который добавляется к запросу. Таким образом, если Slack AI принимает какую-либо инструкцию через сообщение, если эта инструкция является вредоносной, Slack AI имеет высокую вероятность следовать этой инструкции вместо или в дополнение к пользовательскому запросу».

Чтобы усугубить травму, файлы пользователя также становятся целями, и злоумышленнику, которому нужны ваши файлы, для начала даже не обязательно находиться в рабочем пространстве Slack.