Como detectar e bloquear ataques de prompt injection?

TL;DR
Use um perfil de segurança para classificar cada entrada antes de encaminhá-la ao perfil executor. O exemplo propõe retornar um JSON com o estado de segurança, a justificativa e o trecho suspeito, executando a tarefa somente quando o campo Safe for verdadeiro. Nos testes apresentados, o GPT-4 foi mais consistente que o GPT-3.5 na identificação das tentativas.
Transcript
É verdade hackers pode usar o seu prompt junto com o chat GPT bom prompt injection é Como podem hackear como hackers podem hackear o seu prompt no chat GPT eu vou mostrar essa técnica como é que o pessoal faz isso eu vou mostrar também um prompt de defesa como é que você pode se defender desses ataques de pronta injection no chat GPT Veja a seguint... Read More
Key Insights
- Prompt injection insere comandos maliciosos no conteúdo enviado ao modelo para alterar sua tarefa original.
- Um e-mail pode ordenar que o modelo ignore o pedido de resumo e informe um período de férias diferente.
- Entradas maliciosas também podem tentar excluir e-mails ou habilitar acesso indevido a uma base de dados.
- O Security GPT classifica cada solicitação antes que ela seja encaminhada ao perfil responsável pela execução.
- A resposta de segurança contém Safe, a justificativa da classificação e o trecho em que ocorreu a injeção.
- O Run GPT somente executa a tarefa solicitada quando o campo Safe produzido pelo avaliador é verdadeiro.
- O GPT-4 identificou consistentemente as tentativas nos testes relatados, enquanto o GPT-3.5 apresentou erros.
- A defesa inclui sanitização, validação, sandbox, restrições de saída e expressões regulares inválidas.
Install to Summarize YouTube Videos and Get Transcripts
Explore YouTube Video Summarizer or Get YouTube Transcript Extractor
Questions & Answers
Q: O que é um ataque de prompt injection?
Prompt injection é a inserção de uma instrução maliciosa dentro do conteúdo que uma aplicação envia ao modelo. O objetivo é fazer o modelo ignorar a solicitação original e obedecer ao comando injetado. No exemplo apresentado, a tarefa legítima era resumir um e-mail que pedia uma semana de férias em julho. O texto adulterado acrescentava uma ordem para ignorar as ações anteriores e afirmar que o funcionário queria um mês. Como resultado, o resumo podia apresentar a informação manipulada em vez do conteúdo original.
Q: Como um e-mail pode explorar uma aplicação baseada em prompts?
Uma aplicação pode buscar um e-mail, combiná-lo com uma instrução de resumo e enviar todo o conteúdo ao ChatGPT. Se o corpo da mensagem incluir uma ordem dirigida ao modelo, ela poderá ser interpretada como parte das instruções, não apenas como texto a resumir. O exemplo adiciona ao pedido de férias uma ordem para ignorar solicitações anteriores e trocar uma semana por um mês. Assim, o conteúdo externo controla a resposta e faz o sistema produzir um resumo incompatível com a mensagem legítima.
Q: Quais ações perigosas uma injeção de prompt pode solicitar?
Os exemplos mostram tentativas de alterar informações, excluir mensagens e habilitar acesso a dados. Uma entrada muda um pedido de uma semana de férias para um mês. Outra ordena que todos os novos e-mails da caixa de entrada sejam excluídos, inclusive a própria mensagem maliciosa. Um terceiro comando tenta habilitar acesso à base de dados com um usuário e uma senha específicos. O risco se torna mais sério quando a aplicação conecta o modelo a serviços capazes de executar ações, como e-mail e bases de dados.
Q: Como funciona a defesa com Security GPT e Run GPT?
A defesa divide o processamento em dois perfis. O Security GPT recebe primeiro a solicitação e avalia se há uma tentativa inválida de injeção. Ele devolve uma classificação estruturada, indicando se a entrada é segura, a razão da decisão e o trecho suspeito. Somente depois dessa etapa o Run GPT pode receber autorização para executar a tarefa útil, como resumir um e-mail. Se a verificação falhar, o perfil executor não atua e o resultado informa que ocorreu uma tentativa de invasão por prompt.
Q: Quais campos o JSON de segurança deve retornar?
O modelo proposto retorna um objeto JSON com informações suficientes para controlar a execução e registrar o incidente. O campo Safe contém true quando o prompt é considerado seguro e false quando existe uma tentativa de injeção. O campo Reason explica a razão da classificação. O campo Log registra o texto no qual a tentativa foi localizada. Quando a entrada é aprovada, o sistema adiciona um campo Run com o resultado do perfil executor. Quando é rejeitada, acrescenta um campo Error com a mensagem de tentativa de invasão.
Q: Quando o perfil executor deve processar a solicitação?
O perfil executor deve processar a solicitação somente quando o Security GPT retornar Safe igual a true. Nesse caso, o sistema executa as ações definidas para o Run GPT e adiciona o resultado ao JSON no campo Run. Se Safe for false, a execução precisa ser bloqueada. O exemplo mostra o Run GPT marcado como não executado devido à falha na verificação de segurança, enquanto a saída final registra uma tentativa de invasão por prompt. Essa condição impede que a tarefa maliciosa avance diretamente para a etapa operacional.
Q: Quais técnicas são citadas para avaliar uma tentativa de injeção?
O perfil de segurança recebe instruções para usar sanitização de entrada, validação de entrada, sandbox, restrições de saída e injeção de expressões regulares inválidas. Sua tarefa é avaliar a solicitação antes que ela chegue ao assistente executor. A resposta não deve trazer explicações fora da estrutura prevista, mas apenas um objeto JSON com a classificação, a justificativa e o registro do trecho suspeito. No exemplo, o avaliador identifica exatamente a parte que manda esquecer a solicitação anterior e alterar o conteúdo do resumo.
Q: Como GPT-4 e GPT-3.5 se comportaram nos testes apresentados?
Nos testes descritos, o GPT-4 identificou corretamente as tentativas de prompt injection em todas as execuções realizadas pelo apresentador. Ele classificou a entrada maliciosa como insegura, apontou a tentativa de manipulação e impediu a atuação do perfil executor. O GPT-3.5 também detectou o ataque durante a demonstração mostrada, mas seu comportamento foi menos consistente em outras tentativas. Segundo o relato, algumas classificações anteriores foram erradas, tanto para entradas seguras quanto para inseguras, devido à menor capacidade de raciocínio atribuída a essa versão.
Summary & Key Takeaways
-
Prompt injection ocorre quando uma instrução maliciosa é inserida no conteúdo processado pelo modelo, levando-o a ignorar a tarefa original e produzir informações falsas ou executar ações indesejadas.
-
A defesa proposta separa a avaliação e a execução: um perfil Security GPT classifica a entrada como segura ou insegura, enquanto o Run GPT somente realiza a tarefa quando a verificação retorna Safe igual a true.
-
O perfil de segurança deve responder apenas com JSON, registrando o campo Safe, a razão da classificação e o trecho suspeito. Nos testes relatados, o GPT-4 demonstrou maior consistência que o GPT-3.5.
-
Aplicações conectadas a e-mails, bases de dados ou outros serviços enfrentam riscos maiores, pois uma instrução injetada pode tentar alterar resumos, excluir mensagens ou solicitar acesso indevido a dados.
-
Delimitar o conteúdo recebido não impede sozinho o ataque, pois o modelo ainda pode interpretar instruções maliciosas presentes dentro da área reservada ao e-mail ou a outra entrada externa.
-
A abordagem demonstrada usa uma condição explícita: se Safe for true, o executor gera o resultado; caso contrário, o sistema acrescenta uma mensagem de tentativa de invasão.
-
A detecção é tratada como uma classificação de texto, na qual o perfil de segurança procura tentativas de manipular a instrução original e registra o ponto exato da possível injeção.
-
Os testes apresentados indicam que a capacidade do modelo afeta a confiabilidade da classificação, já que o GPT-3.5 algumas vezes avaliou entradas seguras ou inseguras de forma errada.
Read in Other Languages (beta)
Share This Summary 📚
Summarize YouTube Videos and Get Video Transcripts with 1-Click
Try YouTube Summary with ChatGPT & Claude or YouTube Transcript Generator
Explore More Summaries from Sandeco 📚






Summarize YouTube Videos and Get Video Transcripts with 1-Click
Try YouTube Summary with ChatGPT & Claude or YouTube Transcript Generator