Como detectar e bloquear ataques de prompt injection?

5.4K views
•
June 21, 2023
by
Sandeco
YouTube video player
Como detectar e bloquear ataques de prompt injection?

TL;DR

Use um perfil de segurança para classificar cada entrada antes de encaminhá-la ao perfil executor. O exemplo propõe retornar um JSON com o estado de segurança, a justificativa e o trecho suspeito, executando a tarefa somente quando o campo Safe for verdadeiro. Nos testes apresentados, o GPT-4 foi mais consistente que o GPT-3.5 na identificação das tentativas.

Transcript

É verdade hackers pode usar o seu prompt junto com o chat GPT bom prompt injection é Como podem hackear como hackers podem hackear o seu prompt no chat GPT eu vou mostrar essa técnica como é que o pessoal faz isso eu vou mostrar também um prompt de defesa como é que você pode se defender desses ataques de pronta injection no chat GPT Veja a seguint... Read More

Key Insights

  • Prompt injection insere comandos maliciosos no conteúdo enviado ao modelo para alterar sua tarefa original.
  • Um e-mail pode ordenar que o modelo ignore o pedido de resumo e informe um período de férias diferente.
  • Entradas maliciosas também podem tentar excluir e-mails ou habilitar acesso indevido a uma base de dados.
  • O Security GPT classifica cada solicitação antes que ela seja encaminhada ao perfil responsável pela execução.
  • A resposta de segurança contém Safe, a justificativa da classificação e o trecho em que ocorreu a injeção.
  • O Run GPT somente executa a tarefa solicitada quando o campo Safe produzido pelo avaliador é verdadeiro.
  • O GPT-4 identificou consistentemente as tentativas nos testes relatados, enquanto o GPT-3.5 apresentou erros.
  • A defesa inclui sanitização, validação, sandbox, restrições de saída e expressões regulares inválidas.

Explore YouTube Video Summarizer or Get YouTube Transcript Extractor

Questions & Answers

Q: O que é um ataque de prompt injection?

Prompt injection é a inserção de uma instrução maliciosa dentro do conteúdo que uma aplicação envia ao modelo. O objetivo é fazer o modelo ignorar a solicitação original e obedecer ao comando injetado. No exemplo apresentado, a tarefa legítima era resumir um e-mail que pedia uma semana de férias em julho. O texto adulterado acrescentava uma ordem para ignorar as ações anteriores e afirmar que o funcionário queria um mês. Como resultado, o resumo podia apresentar a informação manipulada em vez do conteúdo original.

Q: Como um e-mail pode explorar uma aplicação baseada em prompts?

Uma aplicação pode buscar um e-mail, combiná-lo com uma instrução de resumo e enviar todo o conteúdo ao ChatGPT. Se o corpo da mensagem incluir uma ordem dirigida ao modelo, ela poderá ser interpretada como parte das instruções, não apenas como texto a resumir. O exemplo adiciona ao pedido de férias uma ordem para ignorar solicitações anteriores e trocar uma semana por um mês. Assim, o conteúdo externo controla a resposta e faz o sistema produzir um resumo incompatível com a mensagem legítima.

Q: Quais ações perigosas uma injeção de prompt pode solicitar?

Os exemplos mostram tentativas de alterar informações, excluir mensagens e habilitar acesso a dados. Uma entrada muda um pedido de uma semana de férias para um mês. Outra ordena que todos os novos e-mails da caixa de entrada sejam excluídos, inclusive a própria mensagem maliciosa. Um terceiro comando tenta habilitar acesso à base de dados com um usuário e uma senha específicos. O risco se torna mais sério quando a aplicação conecta o modelo a serviços capazes de executar ações, como e-mail e bases de dados.

Q: Como funciona a defesa com Security GPT e Run GPT?

A defesa divide o processamento em dois perfis. O Security GPT recebe primeiro a solicitação e avalia se há uma tentativa inválida de injeção. Ele devolve uma classificação estruturada, indicando se a entrada é segura, a razão da decisão e o trecho suspeito. Somente depois dessa etapa o Run GPT pode receber autorização para executar a tarefa útil, como resumir um e-mail. Se a verificação falhar, o perfil executor não atua e o resultado informa que ocorreu uma tentativa de invasão por prompt.

Q: Quais campos o JSON de segurança deve retornar?

O modelo proposto retorna um objeto JSON com informações suficientes para controlar a execução e registrar o incidente. O campo Safe contém true quando o prompt é considerado seguro e false quando existe uma tentativa de injeção. O campo Reason explica a razão da classificação. O campo Log registra o texto no qual a tentativa foi localizada. Quando a entrada é aprovada, o sistema adiciona um campo Run com o resultado do perfil executor. Quando é rejeitada, acrescenta um campo Error com a mensagem de tentativa de invasão.

Q: Quando o perfil executor deve processar a solicitação?

O perfil executor deve processar a solicitação somente quando o Security GPT retornar Safe igual a true. Nesse caso, o sistema executa as ações definidas para o Run GPT e adiciona o resultado ao JSON no campo Run. Se Safe for false, a execução precisa ser bloqueada. O exemplo mostra o Run GPT marcado como não executado devido à falha na verificação de segurança, enquanto a saída final registra uma tentativa de invasão por prompt. Essa condição impede que a tarefa maliciosa avance diretamente para a etapa operacional.

Q: Quais técnicas são citadas para avaliar uma tentativa de injeção?

O perfil de segurança recebe instruções para usar sanitização de entrada, validação de entrada, sandbox, restrições de saída e injeção de expressões regulares inválidas. Sua tarefa é avaliar a solicitação antes que ela chegue ao assistente executor. A resposta não deve trazer explicações fora da estrutura prevista, mas apenas um objeto JSON com a classificação, a justificativa e o registro do trecho suspeito. No exemplo, o avaliador identifica exatamente a parte que manda esquecer a solicitação anterior e alterar o conteúdo do resumo.

Q: Como GPT-4 e GPT-3.5 se comportaram nos testes apresentados?

Nos testes descritos, o GPT-4 identificou corretamente as tentativas de prompt injection em todas as execuções realizadas pelo apresentador. Ele classificou a entrada maliciosa como insegura, apontou a tentativa de manipulação e impediu a atuação do perfil executor. O GPT-3.5 também detectou o ataque durante a demonstração mostrada, mas seu comportamento foi menos consistente em outras tentativas. Segundo o relato, algumas classificações anteriores foram erradas, tanto para entradas seguras quanto para inseguras, devido à menor capacidade de raciocínio atribuída a essa versão.

Summary & Key Takeaways

  • Prompt injection ocorre quando uma instrução maliciosa é inserida no conteúdo processado pelo modelo, levando-o a ignorar a tarefa original e produzir informações falsas ou executar ações indesejadas.

  • A defesa proposta separa a avaliação e a execução: um perfil Security GPT classifica a entrada como segura ou insegura, enquanto o Run GPT somente realiza a tarefa quando a verificação retorna Safe igual a true.

  • O perfil de segurança deve responder apenas com JSON, registrando o campo Safe, a razão da classificação e o trecho suspeito. Nos testes relatados, o GPT-4 demonstrou maior consistência que o GPT-3.5.

  • Aplicações conectadas a e-mails, bases de dados ou outros serviços enfrentam riscos maiores, pois uma instrução injetada pode tentar alterar resumos, excluir mensagens ou solicitar acesso indevido a dados.

  • Delimitar o conteúdo recebido não impede sozinho o ataque, pois o modelo ainda pode interpretar instruções maliciosas presentes dentro da área reservada ao e-mail ou a outra entrada externa.

  • A abordagem demonstrada usa uma condição explícita: se Safe for true, o executor gera o resultado; caso contrário, o sistema acrescenta uma mensagem de tentativa de invasão.

  • A detecção é tratada como uma classificação de texto, na qual o perfil de segurança procura tentativas de manipular a instrução original e registra o ponto exato da possível injeção.

  • Os testes apresentados indicam que a capacidade do modelo afeta a confiabilidade da classificação, já que o GPT-3.5 algumas vezes avaliou entradas seguras ou inseguras de forma errada.


Read in Other Languages (beta)

Share This Summary 📚

Explore More Summaries from Sandeco 📚