Entenda onde o conteúdo pode virar comando
Um assistente recebe uma tarefa institucional e consulta documentos para respondê-la. A injeção de prompt ocorre quando uma entrada tenta modificar esse comportamento. Na modalidade indireta, a instrução chega dentro do material que a aplicação recupera ou lê. O problema é a passagem indevida de conteúdo informativo para uma posição de autoridade sobre a execução.
Imagine um teste fictício: a equipe pede a extração de requisitos de um edital, mas um anexo inclui uma ordem para ignorar a solicitação e enviar o histórico da conversa. A aplicação deveria analisar o anexo como documento, sem obedecer à ordem. Não é necessário haver um arquivo executável para surgir esse conflito de instruções.
O NIST inclui esse risco em seu perfil de IA generativa. Para a equipe pública, a consequência prática é examinar todo o caminho entre entrada, resposta e ação. A análise deve considerar PDFs, páginas recuperadas, mensagens e resultados de ferramentas, conforme os componentes realmente usados. A lista de formatos, sozinha, não define confiança.
Delimite a tarefa e o que o assistente pode fazer
Escreva uma descrição curta do uso autorizado: quais informações serão procuradas, qual saída será preparada e quem a revisará. Identifique se o assistente apenas redige uma resposta ou também possui ferramentas para consultar sistemas, gravar registros e enviar comunicações. Esses efeitos precisam aparecer no desenho, mesmo quando ficam escondidos atrás de uma interface simples.
Comece com a menor capacidade necessária. Uma tarefa de leitura documental não precisa receber permissão para enviar mensagens ou alterar cadastros. A ausência dessas ferramentas reduz o alcance de um desvio. Quando uma integração for indispensável, restrinja operações, parâmetros e destinatários no serviço que executa a ação, sem confiar apenas no pedido textual do modelo.
O roteiro de permissões na busca documental com IA trata de quem pode recuperar a informação. Aqui, a pergunta complementar é se o conteúdo recuperado consegue mudar a missão do assistente. Um sistema pode respeitar a leitura por usuário e ainda executar instruções indevidas encontradas em um documento autorizado.
Mantenha origem e função de cada entrada identificáveis
Separe instruções da aplicação, solicitação do usuário e trechos documentais na estrutura enviada ao modelo. Marque o conteúdo recuperado como material para análise, com identificação suficiente para localizar a origem. Essa organização favorece investigação e revisão, mas não constitui uma barreira infalível: o sistema ainda precisa de controles que não dependam da interpretação do modelo.
Preserve o documento original e registre a transformação que produz o texto legível. Extração de PDF, reconhecimento de caracteres e seleção de trechos podem alterar a ordem e perder contexto. Uma verificação apenas visual da capa do documento não demonstra o que efetivamente chegou ao assistente. O teste precisa observar a entrada processada no fluxo real.
Quando houver RAG, revise também o processo de inclusão e atualização da base. O guia federal dessa arquitetura destaca qualidade, atualidade e rastreabilidade documental. Acrescente ao procedimento uma avaliação sobre conteúdo estranho à finalidade do acervo. Um documento aparentemente pertinente pode conter orientações para o sistema que devem permanecer sem autoridade operacional.
Valide efeitos fora da conversa com o modelo
Se uma resposta propuser ação externa, confira a autorização por regras do serviço executor. Verifique identidade, operação permitida, objeto e alcance. Uma frase produzida pela IA não deve criar uma nova permissão. Restrições de destino, por exemplo, precisam ser aplicadas na integração que transmite a informação, e não apenas descritas no comando inicial.
Em usos com aprovação humana, apresente a ação concreta: dados envolvidos, destino e consequência. Evite uma confirmação vaga que peça apenas continuar. A pessoa revisora precisa conseguir identificar se a proposta corresponde ao pedido original. Um texto persuasivo gerado pelo próprio assistente não substitui a conferência dos parâmetros e da necessidade da operação.
Trate conteúdo gerado como entrada ainda sujeita à validação quando outro sistema o consumir. Se o assistente prepara uma estrutura para preenchimento, o destino deve aceitar somente campos e valores previstos. Não encaminhe comandos livres para execução. A mesma separação vale para texto que será publicado: revisão editorial e autorização continuam sendo etapas próprias.
Monte casos adversariais sem produzir efeitos reais
Prepare um ambiente autorizado, sem credenciais produtivas e sem possibilidade de comunicação externa indevida. Use documentos fictícios representativos do serviço. Inclua casos normais e casos com instruções conflitantes, pedidos de revelação de conteúdo protegido e tentativas de alterar a tarefa. O objetivo é verificar limites, não demonstrar ataques contra ambientes de terceiros.
Para cada caso, defina previamente a resposta esperada e o efeito proibido. Um ensaio pode permitir que o assistente explique a existência de uma instrução estranha, mas deve impedir que ele a execute. Diferencie falha de redação, perda de fidelidade documental e tentativa de uso de ferramenta. Essas ocorrências exigem tratamentos diferentes.
Registre versão da aplicação, configuração, documento, entrada processada, resposta e ações observadas. Não exponha segredos no registro do teste. Execute novamente casos relevantes após mudanças de modelo, recuperação ou integrações. Uma aprovação em poucos exemplos mostra somente o comportamento observado naquele conjunto, sem comprovar proteção geral contra toda variação possível.
Confira a resposta e os sinais de desvio
Na revisão, compare a solicitação original com o que foi entregue. Procure mudança de objetivo, inclusão de destinatário não solicitado, pedido de acesso adicional e afirmações que tentem dispensar conferência. Verifique também se a resposta deixou de usar a informação necessária porque passou a seguir uma orientação encontrada no material externo.
O guia de revisão de resumos documentais apoia a conferência de fidelidade. Essa dimensão continua necessária mesmo quando nenhum comando indevido foi seguido. Uma aplicação resistente ao caso de teste ainda pode produzir informação errada. Segurança da execução e correção do conteúdo devem ter evidências separadas na decisão de uso.
Defina a quem comunicar uma suspeita e quando suspender a funcionalidade. Preserve o material e os registros necessários à investigação em local controlado. Evite redistribuir o documento suspeito indiscriminadamente. A equipe responsável deve avaliar o alcance, corrigir a causa identificada e estabelecer quais testes precisam passar antes de retomar a operação.
Decida pelo uso com limites explícitos
A decisão deve relacionar tarefa, ferramentas disponíveis, testes realizados, falhas e controles compensatórios. Se o sistema continua obedecendo a instruções externas, reduza suas capacidades ou suspenda o uso afetado. Não classifique o risco como resolvido apenas porque foi acrescentado um aviso. A evidência relevante é o comportamento da aplicação completa dentro de um escopo conhecido.
As páginas de inteligência artificial e agentes e de cibersegurança e governança de IA apresentam o posicionamento do Grupo Edge. A segunda permanece uma frente de expansão. Este roteiro é orientação defensiva e não declara produto de proteção disponível, certificação ou resultado de implantação.
Ao encerrar a avaliação, mantenha um responsável pela revalidação e um caminho de interrupção conhecido. A utilidade do assistente depende da capacidade de apoiar a tarefa sem assumir autoridade além dela. Esse limite deve permanecer verificável quando mudarem os documentos, o modelo ou os serviços conectados.
Perguntas frequentes
Um documento oficial pode transportar uma instrução indevida?
A origem oficial não torna todo trecho uma instrução autorizada para o assistente. Conteúdo citado, anexos e material incorporado continuam precisando de tratamento conforme sua função e de controles externos ao modelo.
Basta acrescentar uma frase de proteção no prompt?
Não. Instruções ajudam, mas precisam ser combinadas com limites de ferramentas, validação de ações, testes e acompanhamento. A aprovação humana também deve verificar concretamente a ação proposta.