{"id":22582,"date":"2024-05-06T06:42:17","date_gmt":"2024-05-06T09:42:17","guid":{"rendered":"https:\/\/www.kaspersky.com.br\/blog\/?p=22582"},"modified":"2024-05-06T06:42:17","modified_gmt":"2024-05-06T09:42:17","slug":"ai-chatbot-side-channel-attack","status":"publish","type":"post","link":"https:\/\/www.kaspersky.com.br\/blog\/ai-chatbot-side-channel-attack\/22582\/","title":{"rendered":"Como os hackers podem ler seus bate-papos com o ChatGPT ou o Microsoft Copilot"},"content":{"rendered":"

Pesquisadores israelenses do Offensive AI Lab publicaram um artigo<\/a> descrevendo um m\u00e9todo para restaurar o texto de mensagens de chatbot de IA interceptadas. Hoje vamos dar uma olhada em como esse ataque funciona, e qu\u00e3o perigoso ele \u00e9 na realidade.<\/p>\n

Quais informa\u00e7\u00f5es podem ser extra\u00eddas de mensagens interceptadas do chatbot de IA?<\/h2>\n

Naturalmente, os chatbots enviam mensagens criptografadas. Mesmo assim, a implementa\u00e7\u00e3o de grandes modelos de linguagem<\/a> (LLMs) e os chatbots constru\u00eddos com eles abrigam uma s\u00e9rie de recursos que enfraquecem seriamente a criptografia. Combinados, esses recursos tornam poss\u00edvel executar ataques de canal lateral<\/a>, onde o conte\u00fado de mensagens \u00e9 restaurado a partir de fragmentos de informa\u00e7\u00f5es vazadas.<\/p>\n

Para entender o que acontece durante esse ataque, precisamos nos aprofundar um pouco nos detalhes da mec\u00e2nica do LLM e do chatbot. A primeira<\/strong> coisa a saber \u00e9 que os LLMs operam n\u00e3o em caracteres ou palavras individuais, mas em tokens, que podem ser descritos como unidades sem\u00e2nticas de texto. A p\u00e1gina do Tokenizer<\/a> no site da OpenAI oferece uma vis\u00e3o geral do funcionamento interno.<\/p>\n

\"Exemplo<\/a>

O exemplo demonstra como a tokeniza\u00e7\u00e3o de mensagens funciona com os modelos GPT-3.5 e GPT-4. Fonte<\/a><\/p><\/div>\n

Quanto ao segundo<\/strong> recurso que facilita esse ataque, voc\u00ea j\u00e1 o conhece se alguma vez interagiu com chatbots de IA: eles n\u00e3o enviam respostas em grandes blocos, mas gradualmente, quase como se fossem digitadas por uma pessoa. Mas, diferentemente de uma pessoa, os LLMs escrevem em tokens, n\u00e3o em caracteres individuais. Como tal, os chatbots enviam tokens gerados em tempo real, um ap\u00f3s o outro; ou melhor, a maioria dos chatbots: a exce\u00e7\u00e3o \u00e9 o Google Gemini, o que o torna invulner\u00e1vel a esse ataque.<\/p>\n

A terceira<\/strong> peculiaridade \u00e9: no momento da publica\u00e7\u00e3o do artigo, a maioria dos chatbots n\u00e3o usava compacta\u00e7\u00e3o, codifica\u00e7\u00e3o ou preenchimento<\/a> (anexa\u00e7\u00e3o de dados in\u00fateis ao texto significativo para reduzir a previsibilidade e aumentar a for\u00e7a criptogr\u00e1fica) antes de criptografar uma mensagem.<\/p>\n

Os ataques de canal lateral exploram as tr\u00eas peculiaridades. Embora as mensagens interceptadas do chatbot n\u00e3o possam ser descriptografadas<\/em>, os invasores podem extrair dados \u00fateis delas. Especificamente, o comprimento de cada token enviado pelo chatbot. O resultado \u00e9 semelhante a um enigma de um Jogo da Forca: voc\u00ea n\u00e3o pode ver o que exatamente est\u00e1 criptografado, mas o comprimento dos tokens de palavras<\/span> individuais \u00e9 revelado.<\/p>\n

\"Invasores<\/a>

Embora seja imposs\u00edvel descriptografar a mensagem, os invasores podem extrair o comprimento dos tokens enviados pelo chatbot; a sequ\u00eancia resultante \u00e9 semelhante a uma frase a ser revelada no Jogo da Forca. Fonte<\/a><\/p><\/div>\n

Usar informa\u00e7\u00f5es extra\u00eddas para restaurar o texto da mensagem<\/h2>\n

Tudo o que resta \u00e9 adivinhar quais palavras est\u00e3o escondidas atr\u00e1s dos tokens. E sabe quem s\u00e3o \u00f3timos em jogos de adivinha\u00e7\u00e3o? Isso mesmo, os LLMs<\/a>. Na verdade, esse \u00e9 o objetivo principal deles: adivinhar as palavras certas em um determinado contexto. Portanto, para restaurar o texto da mensagem original a partir da sequ\u00eancia resultante de comprimentos de tokens, os pesquisadores recorreram a um LLM\u2026<\/p>\n

Dois LLMs, para sermos precisos, j\u00e1 que os pesquisadores observaram que os in\u00edcios das conversas com chatbots quase sempre seguem uma mesma f\u00f3rmula e, portanto, s\u00e3o facilmente adivinhados por um modelo treinado em uma s\u00e9rie de mensagens introdut\u00f3rias geradas por modelos de linguagem populares. Assim, o primeiro modelo \u00e9 usado para restaurar as mensagens introdut\u00f3rias e pass\u00e1-las para o segundo modelo, que trata do restante da conversa.<\/p>\n

\"Vis\u00e3o<\/a>

Esquema geral do ataque. Fonte<\/a><\/p><\/div>\n

Isso produz um texto no qual os comprimentos dos tokens correspondem aos da mensagem original. Mas palavras espec\u00edficas s\u00e3o for\u00e7adas com v\u00e1rios graus de sucesso. Observe que uma correspond\u00eancia perfeita entre a mensagem restaurada e a original \u00e9 rara, geralmente acontece de uma parte do texto ser incorreta. \u00c0s vezes, o resultado \u00e9 satisfat\u00f3rio:<\/p>\n

\"Exemplo<\/a>

No exemplo, o texto restaurado ficou bastante pr\u00f3ximo do original. Fonte<\/a><\/p><\/div>\n

Mas, em um caso malsucedido, o texto reconstru\u00eddo pode ter pouco ou at\u00e9 nada em comum com o original. Por exemplo, o resultado pode ser este:<\/p>\n

\"Exemplo<\/a>

Aqui as suposi\u00e7\u00f5es deixam muito a desejar. Fonte<\/a><\/p><\/div>\n

Ou este exemplo:<\/p>\n

\"Exemplo<\/a>

Como disse a Alice, \u201ctenho certeza de que a can\u00e7\u00e3o n\u00e3o \u00e9 assim\u201d. Fonte<\/a><\/p><\/div>\n

No total, os pesquisadores examinaram mais de uma d\u00fazia de chatbots de IA e descobriram que a maioria deles \u00e9 vulner\u00e1vel a esse ataque. As exce\u00e7\u00f5es s\u00e3o o Google Gemini (antigo Bard) e o GitHub Copilot (n\u00e3o deve ser confundido com o Microsoft Copilot).<\/p>\n

\u00a0<\/p>\n

\"Lista<\/a>

No momento da publica\u00e7\u00e3o do artigo, muitos chatbots estavam vulner\u00e1veis ao ataque. Fonte<\/a><\/p><\/div>\n

Devo me preocupar?<\/h2>\n

Deve-se notar que esse ataque \u00e9 retrospectivo. Suponha que algu\u00e9m se deu ao trabalho de interceptar e salvar suas conversas com o ChatGPT (algo n\u00e3o t\u00e3o f\u00e1cil, mas poss\u00edvel), nas quais voc\u00ea revelou alguns segredos. Nesse caso, usando o m\u00e9todo descrito acima, essa pessoa teoricamente<\/em> seria capaz de ler as mensagens.<\/p>\n

Felizmente, as chances do interceptador n\u00e3o s\u00e3o muito altas: como os pesquisadores observam, at\u00e9 o t\u00f3pico geral da conversa foi determinado apenas 55% das vezes. Quanto \u00e0 reconstru\u00e7\u00e3o bem-sucedida, o n\u00famero foi de apenas 29%. Vale ressaltar que os crit\u00e9rios dos pesquisadores para uma reconstru\u00e7\u00e3o totalmente exitosa foram satisfeitos, por exemplo, pelo seguinte:<\/p>\n

\"Exemplo<\/a>

Exemplo de uma reconstru\u00e7\u00e3o de texto que os pesquisadores consideraram totalmente bem-sucedida. Fonte<\/a><\/p><\/div>\n

Qu\u00e3o importantes s\u00e3o essas nuances sem\u00e2nticas? Decida por si mesmo. Observe, no entanto, que esse m\u00e9todo provavelmente n\u00e3o extrair\u00e1 nenhuma especifica\u00e7\u00e3o real (nomes, valores num\u00e9ricos, datas, endere\u00e7os, detalhes de contato, outras informa\u00e7\u00f5es vitais<\/em>) com algum grau de confiabilidade.<\/p>\n

E o ataque tem uma outra limita\u00e7\u00e3o que os pesquisadores n\u00e3o mencionam: o sucesso da restaura\u00e7\u00e3o de texto depende muito do idioma em que as mensagens interceptadas s\u00e3o escritas: o sucesso da tokeniza\u00e7\u00e3o varia muito de idioma para idioma. Este artigo \u00e9 focado no ingl\u00eas, que \u00e9 caracterizado por tokens muito longos que geralmente equivalem a uma palavra inteira. Portanto, o texto em ingl\u00eas tokenizado mostra padr\u00f5es distintos que tornam a reconstru\u00e7\u00e3o relativamente simples.<\/p>\n

Nenhum outro idioma chega perto disso. Mesmo para os idiomas nos grupos germ\u00e2nico e rom\u00e2nico, que s\u00e3o os mais semelhantes ao ingl\u00eas, o comprimento m\u00e9dio do token \u00e9 1,5 a 2 vezes menor; e para o russo, 2,5 vezes: um token russo t\u00edpico tem apenas alguns caracteres, o que provavelmente reduzir\u00e1 a efic\u00e1cia desse ataque a zero.<\/p>\n

\n\t\t\t\t\t\t\t\t
\n\t\t\t\t\t\t\t\t\t\n\t\t\t\t\t\t\t\t\t\t\"Exemplos\n\t\t\t\t\t\t\t\t\t<\/a>\n\t\t\t\t\t\t\t\t<\/dt>\n\t\t\t\t\t\t\t\t
\n\t\t\t\t\t\t\t\t\tTextos em idiomas diferentes s\u00e3o tokenizados de forma diferente. Uma amostra em ingl\u00eas \n\t\t\t\t\t\t\t\t<\/dd>\n\t\t\t\t\t\t\t<\/dl>
\n\t\t\t\t\t\t\t\t
\n\t\t\t\t\t\t\t\t\t\n\t\t\t\t\t\t\t\t\t\t\"Exemplos\n\t\t\t\t\t\t\t\t\t<\/a>\n\t\t\t\t\t\t\t\t<\/dt>\n\t\t\t\t\t\t\t\t
\n\t\t\t\t\t\t\t\t\tTextos em idiomas diferentes s\u00e3o tokenizados de forma diferente. Uma amostra em alem\u00e3o \n\t\t\t\t\t\t\t\t<\/dd>\n\t\t\t\t\t\t\t<\/dl>
\n\t\t\t\t\t\t\t\t
\n\t\t\t\t\t\t\t\t\t\n\t\t\t\t\t\t\t\t\t\t\"Exemplos\n\t\t\t\t\t\t\t\t\t<\/a>\n\t\t\t\t\t\t\t\t<\/dt>\n\t\t\t\t\t\t\t\t
\n\t\t\t\t\t\t\t\t\tTextos em idiomas diferentes s\u00e3o tokenizados de forma diferente. Uma amostra em russo \n\t\t\t\t\t\t\t\t<\/dd>\n\t\t\t\t\t\t\t<\/dl>
\n\t\t\t\t\t\t\t\t
\n\t\t\t\t\t\t\t\t\t\n\t\t\t\t\t\t\t\t\t\t\"Exemplos\n\t\t\t\t\t\t\t\t\t<\/a>\n\t\t\t\t\t\t\t\t<\/dt>\n\t\t\t\t\t\t\t\t
\n\t\t\t\t\t\t\t\t\tTextos em idiomas diferentes s\u00e3o tokenizados de forma diferente. Uma amostra em hebraico\n\t\t\t\t\t\t\t\t<\/dd>\n\t\t\t\t\t\t\t<\/dl><\/div>\n

Pelo menos dois desenvolvedores de chatbots de IA (Cloudflare e OpenAI) j\u00e1 responderam ao artigo adicionando o m\u00e9todo de preenchimento mencionado acima, que foi projetado especificamente considerando esse tipo de amea\u00e7a. Outros desenvolvedores de chatbots de IA devem seguir o exemplo, e torcemos para que a comunica\u00e7\u00e3o futura com chatbots seja protegida desses ataques.<\/p>\n\n","protected":false},"excerpt":{"rendered":"

Como os hackers exploram os recursos do chatbot para restaurar chats criptografados do ChatGPT da OpenAI, do Microsoft Copilot e da maioria dos outros chatbots de IA.<\/p>\n","protected":false},"author":2726,"featured_media":22583,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"_acf_changed":false,"footnotes":""},"categories":[1260,1029],"tags":[218,1382,28,1039,3099,3283,108,1342,22,3282,40,77],"class_list":{"0":"post-22582","1":"post","2":"type-post","3":"status-publish","4":"format-standard","5":"has-post-thumbnail","7":"category-threats","8":"category-technology","9":"tag-ameacas","10":"tag-aprendizado-de-maquina","11":"tag-ataques","12":"tag-chatbots","13":"tag-chatgpt","14":"tag-copilot","15":"tag-criptografia","16":"tag-ia","17":"tag-microsoft","18":"tag-openai","19":"tag-seguranca","20":"tag-tecnologia"},"hreflang":[{"hreflang":"pt-br","url":"https:\/\/www.kaspersky.com.br\/blog\/ai-chatbot-side-channel-attack\/22582\/"},{"hreflang":"en-in","url":"https:\/\/www.kaspersky.co.in\/blog\/ai-chatbot-side-channel-attack\/27365\/"},{"hreflang":"en-ae","url":"https:\/\/me-en.kaspersky.com\/blog\/ai-chatbot-side-channel-attack\/22693\/"},{"hreflang":"ar","url":"https:\/\/me.kaspersky.com\/blog\/ai-chatbot-side-channel-attack\/11629\/"},{"hreflang":"en-us","url":"https:\/\/usa.kaspersky.com\/blog\/ai-chatbot-side-channel-attack\/30042\/"},{"hreflang":"en-gb","url":"https:\/\/www.kaspersky.co.uk\/blog\/ai-chatbot-side-channel-attack\/27523\/"},{"hreflang":"es-mx","url":"https:\/\/latam.kaspersky.com\/blog\/ai-chatbot-side-channel-attack\/27340\/"},{"hreflang":"es","url":"https:\/\/www.kaspersky.es\/blog\/ai-chatbot-side-channel-attack\/29998\/"},{"hreflang":"it","url":"https:\/\/www.kaspersky.it\/blog\/ai-chatbot-side-channel-attack\/28811\/"},{"hreflang":"ru","url":"https:\/\/www.kaspersky.ru\/blog\/ai-chatbot-side-channel-attack\/37315\/"},{"hreflang":"tr","url":"https:\/\/www.kaspersky.com.tr\/blog\/ai-chatbot-side-channel-attack\/12312\/"},{"hreflang":"x-default","url":"https:\/\/www.kaspersky.com\/blog\/ai-chatbot-side-channel-attack\/51064\/"},{"hreflang":"fr","url":"https:\/\/www.kaspersky.fr\/blog\/ai-chatbot-side-channel-attack\/21841\/"},{"hreflang":"de","url":"https:\/\/www.kaspersky.de\/blog\/ai-chatbot-side-channel-attack\/31244\/"},{"hreflang":"ja","url":"https:\/\/blog.kaspersky.co.jp\/ai-chatbot-side-channel-attack\/36301\/"},{"hreflang":"ru-kz","url":"https:\/\/blog.kaspersky.kz\/ai-chatbot-side-channel-attack\/27666\/"},{"hreflang":"en-au","url":"https:\/\/www.kaspersky.com.au\/blog\/ai-chatbot-side-channel-attack\/33525\/"},{"hreflang":"en-za","url":"https:\/\/www.kaspersky.co.za\/blog\/ai-chatbot-side-channel-attack\/33188\/"}],"acf":[],"banners":"","maintag":{"url":"https:\/\/www.kaspersky.com.br\/blog\/tag\/ia\/","name":"IA"},"_links":{"self":[{"href":"https:\/\/www.kaspersky.com.br\/blog\/wp-json\/wp\/v2\/posts\/22582","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.kaspersky.com.br\/blog\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.kaspersky.com.br\/blog\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.kaspersky.com.br\/blog\/wp-json\/wp\/v2\/users\/2726"}],"replies":[{"embeddable":true,"href":"https:\/\/www.kaspersky.com.br\/blog\/wp-json\/wp\/v2\/comments?post=22582"}],"version-history":[{"count":3,"href":"https:\/\/www.kaspersky.com.br\/blog\/wp-json\/wp\/v2\/posts\/22582\/revisions"}],"predecessor-version":[{"id":22588,"href":"https:\/\/www.kaspersky.com.br\/blog\/wp-json\/wp\/v2\/posts\/22582\/revisions\/22588"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/www.kaspersky.com.br\/blog\/wp-json\/wp\/v2\/media\/22583"}],"wp:attachment":[{"href":"https:\/\/www.kaspersky.com.br\/blog\/wp-json\/wp\/v2\/media?parent=22582"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.kaspersky.com.br\/blog\/wp-json\/wp\/v2\/categories?post=22582"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.kaspersky.com.br\/blog\/wp-json\/wp\/v2\/tags?post=22582"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}