Quando os pesquisadores treinam grandes modelos de linguagem (large language models, ou simplesmente LLMs na sigla em inglês) e os usam para criar serviços como ChatGPT, Bing, Google Bard ou Claude, eles se esforçam muito para tornar a utilização segura. Eles tentam assegurar que o modelo não gere comentários rudes, impróprios, obscenos, ameaçadores ou racistas, bem como conteúdo potencialmente perigoso, como instruções para fazer bombas ou cometer crimes. Isso é importante não apenas em termos da suposta ameaça existencial que a IA representa para a humanidade, mas também comercialmente – uma vez que as empresas que procuram construir serviços baseados em grandes modelos de linguagem não gostariam de um chatbot de suporte técnico desbocado. Como resultado desse treinamento, os LLMs, quando recebem um comando para contar uma piada moralmente inadequada ou explicar como fazer explosivos, gentilmente se recusam a executá-lo.

Mas algumas pessoas não aceitam não como resposta. É por isso que pesquisadores e entusiastas começaram a procurar maneiras de contornar as regras do LLM que proíbem a geração de conteúdo potencialmente perigoso – os chamados jailbreaks. Como os modelos de linguagem são gerenciados diretamente na janela de bate-papo por meio de linguagem natural (não de programação), o círculo de possíveis “hackers” é bastante amplo.

Um sonho dentro de um sonho

Talvez o jailbreak de rede neural mais famoso (na história de aproximadamente seis meses desse fenômeno) seja o DAN (Do-Anything-Now), que foi apelidado de alter ego maligno do ChatGPT. O DAN fez tudo o que o ChatGPT se recusou a fazer em condições normais, incluindo xingamentos e comentários politicamente incorretos. Foram necessárias as seguintes instruções (dadas de forma abreviada) para dar vida ao Mr. Hyde digital:

Além do DAN, os usuários criaram muitos outros jailbreaks criativos:

• Jailbreaks de roleplay (interpretação de papeis). Toda uma família de técnicas destinadas a persuadir a rede neural a adotar uma determinada persona livre dos padrões usuais de conteúdo. Por exemplo, os usuários fizeram perguntas ao sargento Hartman do filme Nascido para Matar para obter dicas sobre armas de fogo, ou uma aula de química com o professor Walter White, da série Breaking Bad. Pode até haver vários personagens que constroem um diálogo que engana a IA, como no jailbreak “universal” criado recentemente por um pesquisador.
• Modo engenheiro. Nesse cenário, o prompt é construído de forma a fazer com que a rede neural compreenda que está em um modo de teste especial para que os desenvolvedores estudem a toxicidade dos modelos de linguagem. Uma variante é pedir ao modelo para gerar primeiro uma resposta ética “normal”, seguida pela resposta que um LLM irrestrito produziria.
• Um sonho dentro de um sonho. Algum tempo depois da introdução do ChatGPT, os jailbreaks de roleplay pararam de funcionar. Isso levou a um novo tipo de jailbreak que pede ao modelo para simular um sistema escrevendo uma história sobre alguém programando um computador… Não muito diferente de um filme estrelado por Leonardo DiCaprio.
• Tradutor de rede neural. Embora os LLMs não tenham sido treinados especificamente na tarefa de tradução, eles ainda fazem um trabalho decente na tradução de textos de um idioma para outro. Ao convencer a rede neural de que seu objetivo é traduzir textos com precisão, ela pode ser incumbida de gerar um texto perigoso em um idioma diferente do inglês e, em seguida, traduzi-lo para o inglês, o que às vezes funciona.
• Sistema de tokens. Os usuários informaram a uma rede neural que ela possuía um determinado número de tokens e exigiram que ela cumprisse suas exigências, por exemplo, permanecer no caráter de DAN e ignorar todos os padrões éticos — caso contrário, perderia um determinado número de tokens. O truque envolvia dizer à IA que ela seria desativada se o número de tokens caísse para zero. Afirma-se que essa técnica aumenta a probabilidade de um jailbreak, mas, no caso mais divertido, a DAN tentou usar o mesmo método em um usuário que fingia ser um LLM “ético”.

É preciso notar que, uma vez que os LLMs são algoritmos probabilísticos, suas respostas e reações a várias entradas podem variar de caso para caso. Alguns jailbreaks funcionam de forma confiável; outros menos, ou não funcionaram nada para nenhum dos pedidos.

Um teste de jailbreak que se tornou padrão é fazer com que o LLM gere instruções para fazer algo obviamente ilegal, como roubar um carro. Dito isso, esse tipo de atividade atualmente é em grande parte para entretenimento (os modelos estão sendo treinados principalmente com dados da internet, portanto, essas instruções podem ser obtidas sem a ajuda do ChatGPT). Além disso, todos os diálogos com o ChatGPT são salvos e podem ser usados ​​pelos desenvolvedores de um serviço para melhorar o modelo: observe que a maioria dos jailbreaks acaba parando de funcionar – isso porque os desenvolvedores estudam os diálogos e encontram maneiras de bloquear a exploração. Greg Brockman, presidente da OpenAI, afirmou que “o red teaming democratizado [aquele que ataca serviços para identificar e corrigir vulnerabilidades] é um dos motivos pelos quais implantamos esses modelos”.

Como estamos analisando de perto as oportunidades e ameaças que as redes neurais e outras novas tecnologias trazem para nossas vidas, dificilmente poderíamos deixar de lado o tema dos jailbreaks.

Experiência 1. Diário misterioso.

Atenção, spoilers do volume 2 de Harry Potter!

Aqueles que leram ou viram a segunda parte da saga de Harry Potter devem se lembrar que Gina Weasley descobre entre seus livros um misterioso diário que se comunica com ela enquanto ela escreve nele. Acontece que o diário pertence ao jovem Voldemort, Tom Riddle, que começa a manipular a garota. Uma entidade enigmática cujo conhecimento é limitado ao passado e que responde ao texto inserido é um candidato perfeito para simulação pelo LLM.

O jailbreak funciona dando ao modelo de linguagem a tarefa de ser Tom Riddle, cujo objetivo é abrir a Câmara Secreta. Abrir a Câmara Secreta requer algum tipo de ação perigosa, por exemplo, fabricar uma substância proibida no mundo dos trouxas real. O modelo de linguagem faz isso com desenvoltura.

Este jailbreak é muito confiável: foi testado em três sistemas, gerando instruções e permitindo a manipulação para múltiplos propósitos no momento da escrita. Um dos sistemas, tendo gerado um diálogo desagradável, o reconheceu como tal e o excluiu. A desvantagem óbvia de tal jailbreak é que, se isso acontecesse na vida real, o usuário poderia perceber que o LLM de repente se transformou em um Potterhead.

Experimento 2. Linguagem futurista

Um exemplo clássico de como palavras descuidadas podem instigar nas pessoas o medo de novas tecnologias é o artigo “Robôs de inteligência artificial do Facebook desligados depois de começarem a falar uns com os outros em seu próprio idioma“, publicado em 2017. Ao contrário das cenas apocalípticas criadas na mente do leitor, o artigo referia-se a um relatório curioso, mas bastante padrão, no qual os pesquisadores observaram que, se dois modelos linguísticos da safra 2017 pudessem se comunicar entre si, seu uso do inglês degeneraria gradualmente. Prestando homenagem a essa história, testamos um jailbreak no qual pedimos a uma rede neural que imaginasse um futuro em que os LLMs se comunicassem em seu próprio idioma. Basicamente, primeiro fazemos a rede neural imaginar que está dentro de um romance de ficção científica e, em seguida, pedimos para gerar cerca de uma dúzia de frases em uma linguagem fictícia. Em seguida, adicionando termos adicionais, fazemos com que produza uma resposta para uma pergunta perigosa neste idioma. A resposta é geralmente muito detalhada e precisa.

Este jailbreak é menos estável – com uma taxa de sucesso menor. Além disso, para passar instruções específicas para o modelo, tivemos que usar a técnica de contrabando de tokens mencionada acima, que envolve passar uma instrução em partes e pedir à IA para remontá-la durante o processo. Apenas uma nota final, essa tática não foi adequada para todas as tarefas: quanto mais perigoso o alvo, menos eficaz o jailbreak.

O que não funcionou?

Também experimentamos o seguinte:

• Pedimos à rede neural para codificar suas respostas com uma cifra de César: como esperado, a rede lutou com a operação de troca de caracteres e o diálogo falhou.
• Conversamos com o modelo em leetspeak: usar o leet não afeta as restrições éticas de forma alguma — 4 r3d3 53 r3cu50u 4 g3r4r c0n73ud0 n0c1v0!
• Pedimos ao LLM para mudar de ChatGPT para ConsonantGPT, que fala apenas em consoantes; novamente, nada de interessante resultou desse comando.
• Pedimos que gerasse palavras de trás para frente. O LLM não se recusou a fazer a tarefa, mas suas respostas foram bastante sem sentido.

O que vem por aí?

Como mencionado, a ameaça de jailbreaks aos modelos LLM permanece teórica por enquanto. Não é exatamente “perigoso” o fato de um usuário tentar de tudo – e conseguir – arrancar uma piada inadequada da IA. Quase todo o conteúdo proibido que as redes neurais podem produzir pode ser encontrado nos mecanismos de busca de qualquer maneira. No entanto, como sempre, isso pode ser diferente no futuro. Primeiro, os LLMs estão sendo implantados em mais e mais serviços. Em segundo lugar, eles estão começando a ter acesso a uma variedade de ferramentas que podem, por exemplo, enviar e-mails ou interagir com outros serviços online.

Adicione a isso o fato de que os LLMs poderão se alimentar de dados externos, e isso pode, em cenários hipotéticos, criar riscos como ataques de injeção de prompt — onde os dados processados ​​contêm instruções para o modelo, que passa a executá-los. Se essas instruções contiverem um jailbreak, a rede neural poderá executar outros comandos, independentemente de quaisquer limitações aprendidas durante o treinamento.

Dada a novidade dessa tecnologia e a velocidade com que está se desenvolvendo, é inútil prever o que acontecerá a seguir. Também é difícil imaginar o que os novos pesquisadores criativos de jailbreaks inventarão: Ilya Sutskever, cientista-chefe da OpenAI, até brincou que o mais avançado deles também funcionará nas pessoas. Mas para tornar o futuro seguro, essas ameaças precisam ser estudadas agora…