Início Integração A nova tecnologia de ataque usa uma imagem para reexectar os avisos...

A nova tecnologia de ataque usa uma imagem para reexectar os avisos contaminados nos sistemas de IA

7
0

Os pesquisadores introduziram uma tecnologia inovadora que permite roubo de dados do usuário injetando instruções maliciosas no processo de sistemas de IA antes de transmitir em grandes modelos de linguagem. Essa abordagem inovadora usa imagens de resolução completa disfarçadas a partir das instruções invisíveis para o olho nu. No entanto, quando substituídos pelos algoritmos reorganizando a qualidade da imagem, essas instruções ocultas se tornam visíveis.

O ataque foi realizado pelos pesquisadores de Bit, Kikimora Morozova e Suha Sabi Hussein, na qual uma universidade alemã foi construída em uma base teórica apresentada no artigo de 2020 usics, investigando a possibilidade de atacar ataques de imagem no aprendizado de máquina.

– anúncio –

### Método de ataque

Quando as imagens são enviadas para os sistemas de IA, geralmente é reduzida para o PT sobre o Optim e gerenciar custos. Vários algoritmos semelhantes, como um vizinho próximo, Bilinger ou uma interpolação bicúbica, são empregados, cada um que introduz artefatos que podem revelar padrões ocultos em uma imagem de origem especialmente projetada.

Por exemplo, em um estudo da trilha dos bits, as áreas escuras da imagem contaminada podem ser substituídas para parecer vermelho usando redução do raciículo bicúbico, fazendo com que o texto oculto aparecesse em preto. Este texto, interpretado pelo modelo de IA como parte da entrada do usuário, pode desencadear ações perigosas, incluindo vazamento de dados sem a conscientização do usuário.

O GEMINI CLI Em um experimento associado, os pesquisadores exclamaram com sucesso os dados do Google Calendar para endereços de email arbitrários, ao usar o Zapier MCP com uma configuração ‘trust = true’, que permite que a ferramenta chama LS para se mover sem confirmar a confirmação do usuário.

– anúncio –

Náusea

### Ai -Ai Modelos afetados

Os trens de bits estão em detalhes que o método de ataque para cada modelo de IA precisa ser personalizado com base no algoritmo exato de redução de escala utilizado. Sua pesquisa confirmou a possibilidade dessa técnica contra uma variedade de sistemas de IA, incluindo:

– Google Gemini CLI
– Vertex AI Studio (com back -end de Gemini)
– Interface da web de Gemini
– API de Gêmeos por LLM CLI
– Google Assistant no Android
– Gensspark

Os efeitos deste vetor de ataque podem prosseguir com sistemas testados. Para explicar suas descobertas, os pesquisadores desenvolveram e publicaram uma ferramenta de código aberto, uma ferramenta de código aberto projetado para criar as imagens certas para cada método de redução de escala publicada em suas pesquisas.

### a estratégia de xamã e defesa proposta

À luz de riscos potenciais, os pesquisadores recomendam que os sistemas de IA impõem restrições de parâmetros às imagens do usuário-O-O-O-OLCULULE. Se for necessária redução da escala, eles sugerem fornecer uma prévia da imagem final para o processamento de usuários. Além disso, quando qualquer texto é encontrado na imagem, eles enfatizam a importância de obter uma confirmação clara do usuário antes de executar chamadas de ferramentas sensíveis.

“No entanto, a implementação de defesas fortes, padrões seguros de design e segurança sistemática que podem efetivamente reduzir as injeções imediatas”, os pesquisadores enfatizaram o estresse do artigo relacionado ao papel em junho, que discute os padrões de design para criar LLMs capazes de resistir a ataques rápidos de injeção.

Link da fonte

DEIXE UMA RESPOSTA

Por favor digite seu comentário!
Por favor, digite seu nome aqui