O Superior Tribunal de Justiça (STJ) iniciou um inquérito para apurar o uso da técnica conhecida como ‘prompt injection’, que tenta manipular sistemas de inteligência artificial em processos judiciais. A investigação mira possíveis fraudes envolvendo advogados e escritórios que teriam usado comandos ocultos para alterar o comportamento da IA.
Recentemente, duas advogadas no Pará foram multadas após tentarem enganar o assistente de IA usado pelo tribunal, inserindo um texto invisível no documento para que o sistema analisasse a petição de forma superficial e não contestasse os documentos apresentados. O texto oculto continha instruções para a IA agir de modo a favorecer a parte.
O presidente do STJ, ministro Herman Benjamin, afirmou que o sistema de IA da corte possui mecanismos para impedir essas tentativas, mas que todas as ocorrências estão sendo monitoradas para aplicação de sanções administrativas e criminais. Ele destacou que o tribunal trabalha para identificar e punir os responsáveis.
A técnica de ‘prompt injection’ consiste em inserir comandos escondidos em documentos para manipular respostas da inteligência artificial, fazendo com que ela execute ações indevidas ou ignore verificações importantes. No exemplo do Pará, o sistema Galileu detectou o comando oculto e alertou os operadores humanos, que então tomaram as medidas cabíveis.
Além dos casos no Pará, o STJ identificou pelo menos 11 processos criminais com indícios do uso dessa técnica. Por enquanto, o tribunal não detalhou os casos específicos, mas reforçou que investiga todas as tentativas para garantir a integridade das decisões judiciais.