{"id":22254,"date":"2024-02-28T17:40:25","date_gmt":"2024-02-28T20:40:25","guid":{"rendered":"https:\/\/www.kaspersky.com.br\/blog\/?p=22254"},"modified":"2024-02-28T17:40:25","modified_gmt":"2024-02-28T20:40:25","slug":"how-to-use-ai-locally-and-securely","status":"publish","type":"post","link":"https:\/\/www.kaspersky.com.br\/blog\/how-to-use-ai-locally-and-securely\/22254\/","title":{"rendered":"Como instalar e usar um assistente de IA no computador"},"content":{"rendered":"

Muitas pessoas j\u00e1 est\u00e3o explorando redes neurais generativas e incorporando-as em suas rotinas di\u00e1rias de trabalho. Por exemplo, quase 60% dos americanos<\/a> utilizam frequentemente ChatGPT e ferramentas semelhantes, muitas vezes sem autoriza\u00e7\u00e3o da gest\u00e3o. Contudo, todas as informa\u00e7\u00f5es de opera\u00e7\u00f5es como solicita\u00e7\u00f5es de comandos do usu\u00e1rio e respostas do modelo, s\u00e3o registradas nos servidores da OpenAI, Google e diversos outros provedores. Para tarefas em que o vazamento de informa\u00e7\u00f5es \u00e9 inaceit\u00e1vel, voc\u00ea n\u00e3o precisa renunciar totalmente \u00e0 IA. Em vez disso, basta um pouco de esfor\u00e7o (e talvez algum investimento) para executar a rede neural localmente, mesmo que seja apenas um laptop.<\/p>\n

Amea\u00e7as na nuvem<\/h2>\n

Os assistentes de IA mais populares s\u00e3o executados na infraestrutura de nuvem das grandes empresas. Eles s\u00e3o eficientes e r\u00e1pidos, mas os dados processados pelo modelo podem ser acess\u00edveis tanto ao provedor de servi\u00e7os de IA quanto a terceiros n\u00e3o relacionados, como foi o caso no ano passado com o ChatGPT<\/a>.<\/p>\n

Esses incidentes apresentam n\u00edveis variados de amea\u00e7a, dependendo do uso dos assistentes de IA. Se voc\u00ea estiver criando ilustra\u00e7\u00f5es fofas para um contos de fadas que voc\u00ea escreveu ou usando o ChatGPT para planejar um itiner\u00e1rio do passeio de fim de semana, a probabilidade de um vazamento causar danos significativos \u00e9 m\u00ednima. No entanto, se a intera\u00e7\u00e3o com um chatbot envolver informa\u00e7\u00f5es confidenciais, tais como dados pessoais, senhas ou n\u00fameros de cart\u00e3o banc\u00e1rio, um eventual vazamento para a nuvem n\u00e3o ser\u00e1 toler\u00e1vel. Felizmente, isso \u00e9 relativamente f\u00e1cil de evitar com a filtragem pr\u00e9via de dados. Confira o post espec\u00edfico<\/a> que escrevemos sobre isso.<\/p>\n

No entanto, em situa\u00e7\u00f5es em que a mensagem \u00e9 confidencial, como informa\u00e7\u00f5es m\u00e9dicas ou financeiras, ou quando a confiabilidade da pr\u00e9-filtragem \u00e9 question\u00e1vel, especialmente ao processar grandes volumes de dados que n\u00e3o ser\u00e3o revistos ou filtrados por ningu\u00e9m, h\u00e1 apenas uma solu\u00e7\u00e3o vi\u00e1vel: passar o processamento da nuvem para um computador local. \u00c9 claro que a execu\u00e7\u00e3o da sua pr\u00f3pria vers\u00e3o do ChatGPT ou do Midjourney off-line provavelmente n\u00e3o ser\u00e1 bem-sucedida, mas outras redes neurais que trabalham localmente fornecem qualidade similar com menos carga computacional.<\/p>\n

Qual o equipamento necess\u00e1rio para executar uma rede neural?<\/h2>\n

Voc\u00ea provavelmente j\u00e1 ouviu falar que trabalhar com redes neurais requer placas gr\u00e1ficas superpoderosas, entretanto, na pr\u00e1tica, as coisas n\u00e3o s\u00e3o bem assim. Diferentes modelos de IA podem impor demandas diferentes aos componentes do computador, como RAM, mem\u00f3ria de v\u00eddeo, unidade de armazenamento e CPU. N\u00e3o \u00e9 apenas a velocidade de processamento que importa: a compatibilidade do processador com instru\u00e7\u00f5es vetoriais espec\u00edficas tamb\u00e9m \u00e9 essencial. A capacidade de carregar o modelo depende da quantidade de RAM, e o tamanho da \u201cjanela de contexto\u201d (ou seja, a mem\u00f3ria da conversa anterior) depende da quantidade de mem\u00f3ria de v\u00eddeo. Normalmente, com placa gr\u00e1fica e CPU fracas, a gera\u00e7\u00e3o tende a ser excepcionalmente lenta, muitas vezes produzindo apenas uma a duas palavras por segundo para modelos de texto. Portanto, um computador com especifica\u00e7\u00f5es m\u00ednimas \u00e9 mais adequado para permitir que os usu\u00e1rios se familiarizem com um modelo espec\u00edfico e avaliem sua adequa\u00e7\u00e3o. Para garantir um uso di\u00e1rio tranquilo e eficaz, ser\u00e1 necess\u00e1rio aumentar a mem\u00f3ria RAM, fazer upgrade da placa gr\u00e1fica ou optar por um modelo de IA mais r\u00e1pido.<\/p>\n

Como ponto de partida, \u00e9 poss\u00edvel tentar trabalhar com os computadores que eram considerados relativamente poderosos em 2017: processadores n\u00e3o inferiores ao Core i7 com suporte para instru\u00e7\u00f5es AVX2, 16 GB de RAM e placas gr\u00e1ficas com pelo menos 4 GB de mem\u00f3ria. Para os entusiastas do Mac, os modelos executados no chip Apple M1 e superior podem ser \u00fateis, enquanto os requisitos de mem\u00f3ria forem os mesmos.<\/p>\n

Ao escolher um modelo de IA, primeiramente \u00e9 necess\u00e1rio se familiarizar com os requisitos do sistema. Uma consulta de pesquisa como \u201crequisitos de nome_do_modelo<\/em>\u201d ajudar\u00e1 a avaliar se vale a pena baixar esse modelo, tendo em vista o equipamento dispon\u00edvel. H\u00e1 estudos detalhados dispon\u00edveis sobre o impacto da quantidade de mem\u00f3ria, CPU e GPU no desempenho de diferentes modelos, como este aqui<\/a>.<\/p>\n

Boas not\u00edcias para as pessoas que n\u00e3o t\u00eam acesso a um equipamento poderoso: existem modelos de IA simplificados que podem executar tarefas pr\u00e1ticas mesmo em hardware antigo. Mesmo que sua placa gr\u00e1fica seja muito b\u00e1sica e fraca, \u00e9 poss\u00edvel executar modelos e iniciar ambientes usando apenas a CPU. Dependendo de suas tarefas, eles podem at\u00e9 funcionar surpreendentemente bem.<\/p>\n

\"Testes<\/a>

Exemplos sobre como as diversas compila\u00e7\u00f5es de computador funcionam com modelos de linguagem populares<\/p><\/div>\n

A escolha de um modelo de IA e a magia da quantiza\u00e7\u00e3o<\/h2>\n

Uma ampla gama de modelos de linguagem est\u00e1 dispon\u00edvel hoje, mas muitos deles t\u00eam aplica\u00e7\u00f5es pr\u00e1ticas limitadas. No entanto, h\u00e1 ferramentas de IA facilmente acess\u00edveis e f\u00e1ceis de usar, projetadas para tarefas espec\u00edficas como a Mistral 7B, para gera\u00e7\u00e3o de texto, e a Code Llama 13B, proficiente na cria\u00e7\u00e3o de trechos de c\u00f3digo. Portanto, ao escolher um modelo, restrinja as op\u00e7\u00f5es a alguns candidatos apropriados e certifique-se de que seu computador possui os recursos necess\u00e1rios para execut\u00e1-los.<\/p>\n

Em qualquer rede neural, a maior parte da tens\u00e3o da mem\u00f3ria est\u00e1 fundamentada na cortesia de pesos, ou seja, os coeficientes num\u00e9ricos que descrevem a opera\u00e7\u00e3o de cada neur\u00f4nio na rede. Inicialmente, ao treinar o modelo, os pesos s\u00e3o calculados e armazenados como n\u00fameros fracion\u00e1rios de alta precis\u00e3o. No entanto, \u00e9 poss\u00edvel verificar que o arredondamento dos pesos no modelo treinado permite que a ferramenta de IA seja executada em computadores comuns, o que diminui apenas ligeiramente o desempenho. Esse processo de arredondamento \u00e9 chamado de quantiza\u00e7\u00e3o e, com sua ajuda, o tamanho do modelo pode ser reduzido consideravelmente, em vez de 16 bits, cada peso pode usar 8, 4 ou at\u00e9 2 bits.<\/p>\n

De acordo com a pesquisa atual<\/a>, um modelo maior com mais par\u00e2metros e quantiza\u00e7\u00e3o, \u00e0s vezes, pode fornecer resultados melhores do que um modelo com armazenamento de peso preciso, mas menos par\u00e2metros.<\/p>\n

Sabendo tudo isso, agora voc\u00ea pode explorar o tesouro dos modelos de linguagem de c\u00f3digo aberto, ou seja, a lista Open LLM leaderboard<\/a>. Nela, as ferramentas de IA s\u00e3o classificadas de acordo com diversas m\u00e9tricas de qualidade de gera\u00e7\u00e3o, e os filtros facilitam a exclus\u00e3o de modelos muito grandes, muito pequenos ou muito precisos.<\/p>\n

\"Lista<\/a>

Lista de modelos de linguagem classificados por conjunto de filtros<\/p><\/div>\n

Depois de ler a descri\u00e7\u00e3o do modelo e verificar se ele \u00e9 adequado \u00e0s suas necessidades, teste o desempenho na nuvem usando os servi\u00e7os Hugging Face<\/a> ou Google Colab<\/a>. Dessa forma, \u00e9 poss\u00edvel evitar o download de modelos que produzem resultados insatisfat\u00f3rios e economizar tempo. Quando estiver contente com o teste inicial do modelo, \u00e9 hora de verificar como ele se comporta localmente!<\/p>\n

Softwares necess\u00e1rios<\/h2>\n

A maioria dos modelos de c\u00f3digo aberto \u00e9 publicada no Hugging Face<\/a>, mas baix\u00e1-los pura e simplesmente para o computador n\u00e3o \u00e9 suficiente. Para execut\u00e1-los, \u00e9 necess\u00e1rio instalar um software especializado, como o LLaMA.cpp<\/a>, ou o que seria ainda mais f\u00e1cil, seu \u201cwrapper\u201d, o LM Studio<\/a>. O \u00faltimo possibilita a escolha direta do modelo a partir do aplicativo. Ele tamb\u00e9m oferece a op\u00e7\u00e3o de fazer o download e executar o modelo em uma caixa de di\u00e1logo.<\/p>\n

Outra maneira \u201cpronta para uso\u201d de usar um chatbot localmente \u00e9 GPT4All<\/a>. Aqui, a escolha \u00e9 limitada a cerca de uma d\u00fazia de modelos de idiomas, mas a maioria deles ser\u00e1 executada mesmo em um computador com apenas 8 GB de mem\u00f3ria e uma placa gr\u00e1fica b\u00e1sica.<\/p>\n

Se a gera\u00e7\u00e3o for muito lenta, um modelo com quantiza\u00e7\u00e3o mais grosseiro poder\u00e1 ser necess\u00e1rio (dois bits em vez de quatro). Se a gera\u00e7\u00e3o for interrompida ou se ocorrerem erros durante a execu\u00e7\u00e3o, \u00e9 prov\u00e1vel que o problema esteja relacionado \u00e0 falta de mem\u00f3ria. Nesse caso, pode ser \u00fatil procurar um modelo com menos par\u00e2metros ou, novamente, com uma quantiza\u00e7\u00e3o mais ampla.<\/p>\n

Muitos modelos no Hugging Face j\u00e1 foram quantizados em v\u00e1rios graus de precis\u00e3o, mas se ningu\u00e9m quantizou o modelo desejado com a precis\u00e3o desejada, voc\u00ea poder\u00e1 faz\u00ea-lo usando GPTQ<\/a>.<\/p>\n

Esta semana, outra ferramenta promissora foi lan\u00e7ada para a vers\u00e3o beta p\u00fablica: Chat With RTX<\/a> da NVIDIA. O fabricante dos chips de IA mais procurados lan\u00e7ou um chatbot local capaz de resumir o conte\u00fado de v\u00eddeos do YouTube, processar conjuntos de documentos, e muito mais, desde que o usu\u00e1rio tenha um PC Windows com 16 GB de mem\u00f3ria e uma placa gr\u00e1fica NVIDIA RTX de 30\u00aa ou 40\u00aa s\u00e9rie com 8 GB ou mais de mem\u00f3ria de v\u00eddeo. As variedades Mistral e Llama 2 da Hugging Face<\/a> t\u00eam essencialmente a mesma estrutura. \u00c9 claro que placas gr\u00e1ficas poderosas podem melhorar o desempenho da gera\u00e7\u00e3o, entretanto, de acordo com o feedback dos primeiros testadores<\/a>, a vers\u00e3o beta existente \u00e9 bastante complicada (cerca de 40 GB) e dif\u00edcil de instalar. Por\u00e9m, o Chat With RTX da NVIDIA pode se tornar um assistente de IA local muito \u00fatil no futuro.<\/p>\n

<\/a>

O c\u00f3digo para o jogo \u201cSnake\u201d, escrito pelo modelo de linguagem quantizada TheBloke\/CodeLlama-7B-Instruct-GGUF<\/p><\/div>\n

Os aplicativos listados acima executam todos os c\u00e1lculos localmente, n\u00e3o enviam dados para os servidores e podem ser executados off-line para que seja poss\u00edvel compartilhar as informa\u00e7\u00f5es confidenciais com esses aplicativos com seguran\u00e7a. No entanto, para garantir a prote\u00e7\u00e3o total contra vazamentos, ser\u00e1 necess\u00e1rio n\u00e3o apenas preservar a seguran\u00e7a do modelo de idioma, mas tamb\u00e9m a do computador: \u00e9 aqui que nossa solu\u00e7\u00e3o de seguran\u00e7a abrangente<\/a>\u00a0entra em cena. De acordo com o que foi confirmado em testes independentes<\/a>, Kaspersky Premium<\/a>\u00a0praticamente n\u00e3o h\u00e1 impacto no desempenho do computador, e isso representa uma vantagem importante ao trabalhar com modelos de IA locais.<\/p>\n\n","protected":false},"excerpt":{"rendered":"

Acesse todas as vantagens do ChatGPT, Copilot e Midjourney localmente, garantindo que seus dados permane\u00e7am seguros e n\u00e3o sejam transmitidos pela Internet.<\/p>\n","protected":false},"author":2722,"featured_media":22255,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"_acf_changed":false,"footnotes":""},"categories":[12],"tags":[1039,3099,1342,766,1097,40],"class_list":{"0":"post-22254","1":"post","2":"type-post","3":"status-publish","4":"format-standard","5":"has-post-thumbnail","7":"category-tips","8":"tag-chatbots","9":"tag-chatgpt","10":"tag-ia","11":"tag-inteligencia-artificial","12":"tag-machine-learning","13":"tag-seguranca"},"hreflang":[{"hreflang":"pt-br","url":"https:\/\/www.kaspersky.com.br\/blog\/how-to-use-ai-locally-and-securely\/22254\/"},{"hreflang":"en-in","url":"https:\/\/www.kaspersky.co.in\/blog\/how-to-use-ai-locally-and-securely\/27077\/"},{"hreflang":"en-ae","url":"https:\/\/me-en.kaspersky.com\/blog\/how-to-use-ai-locally-and-securely\/22387\/"},{"hreflang":"ar","url":"https:\/\/me.kaspersky.com\/blog\/how-to-use-ai-locally-and-securely\/11436\/"},{"hreflang":"en-us","url":"https:\/\/usa.kaspersky.com\/blog\/how-to-use-ai-locally-and-securely\/29744\/"},{"hreflang":"en-gb","url":"https:\/\/www.kaspersky.co.uk\/blog\/how-to-use-ai-locally-and-securely\/27253\/"},{"hreflang":"es-mx","url":"https:\/\/latam.kaspersky.com\/blog\/how-to-use-ai-locally-and-securely\/27042\/"},{"hreflang":"es","url":"https:\/\/www.kaspersky.es\/blog\/how-to-use-ai-locally-and-securely\/29662\/"},{"hreflang":"it","url":"https:\/\/www.kaspersky.it\/blog\/how-to-use-ai-locally-and-securely\/28540\/"},{"hreflang":"ru","url":"https:\/\/www.kaspersky.ru\/blog\/how-to-use-ai-locally-and-securely\/36986\/"},{"hreflang":"tr","url":"https:\/\/www.kaspersky.com.tr\/blog\/how-to-use-ai-locally-and-securely\/12058\/"},{"hreflang":"x-default","url":"https:\/\/www.kaspersky.com\/blog\/how-to-use-ai-locally-and-securely\/50576\/"},{"hreflang":"fr","url":"https:\/\/www.kaspersky.fr\/blog\/how-to-use-ai-locally-and-securely\/21543\/"},{"hreflang":"de","url":"https:\/\/www.kaspersky.de\/blog\/how-to-use-ai-locally-and-securely\/30951\/"},{"hreflang":"ja","url":"https:\/\/blog.kaspersky.co.jp\/how-to-use-ai-locally-and-securely\/35896\/"},{"hreflang":"nl","url":"https:\/\/www.kaspersky.nl\/blog\/how-to-use-ai-locally-and-securely\/29029\/"},{"hreflang":"ru-kz","url":"https:\/\/blog.kaspersky.kz\/how-to-use-ai-locally-and-securely\/27452\/"},{"hreflang":"en-au","url":"https:\/\/www.kaspersky.com.au\/blog\/how-to-use-ai-locally-and-securely\/33259\/"},{"hreflang":"en-za","url":"https:\/\/www.kaspersky.co.za\/blog\/how-to-use-ai-locally-and-securely\/32882\/"}],"acf":[],"banners":"","maintag":{"url":"https:\/\/www.kaspersky.com.br\/blog\/tag\/ia\/","name":"IA"},"_links":{"self":[{"href":"https:\/\/www.kaspersky.com.br\/blog\/wp-json\/wp\/v2\/posts\/22254","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.kaspersky.com.br\/blog\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.kaspersky.com.br\/blog\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.kaspersky.com.br\/blog\/wp-json\/wp\/v2\/users\/2722"}],"replies":[{"embeddable":true,"href":"https:\/\/www.kaspersky.com.br\/blog\/wp-json\/wp\/v2\/comments?post=22254"}],"version-history":[{"count":2,"href":"https:\/\/www.kaspersky.com.br\/blog\/wp-json\/wp\/v2\/posts\/22254\/revisions"}],"predecessor-version":[{"id":22260,"href":"https:\/\/www.kaspersky.com.br\/blog\/wp-json\/wp\/v2\/posts\/22254\/revisions\/22260"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/www.kaspersky.com.br\/blog\/wp-json\/wp\/v2\/media\/22255"}],"wp:attachment":[{"href":"https:\/\/www.kaspersky.com.br\/blog\/wp-json\/wp\/v2\/media?parent=22254"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.kaspersky.com.br\/blog\/wp-json\/wp\/v2\/categories?post=22254"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.kaspersky.com.br\/blog\/wp-json\/wp\/v2\/tags?post=22254"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}