Recentemente, empresas de tecnologia enlouqueceram completamente com o aprendizado de m\u00e1quina (Machine Learning). Dizem que \u00e9 a solu\u00e7\u00e3o para problemas que apenas pessoas podiam resolver. Alguns chegam ao ponto de chamar de \u201cintelig\u00eancia artificial\u201d. O aprendizado de m\u00e1quina desperta interesse especialmente na seguran\u00e7a de TI, em que o ambiente de amea\u00e7as se altera rapidamente.
\nA qualidade de uma tecnologia se resume a velocidade e consist\u00eancia. O aprendizado de m\u00e1quina \u00e9 baseado em tecnologias, o que torna sua explana\u00e7\u00e3o simples em termos humanos. Ent\u00e3o, vamos l\u00e1: resolveremos problemas reais por meio de um algoritmo funcional \u2013 baseado em aprendizado de m\u00e1quina. O conceito \u00e9 simples, e fornece conclus\u00f5es reais e valiosas.<\/p>\n
A escrita humana (a de Tery Pratchett nesse caso), tem o seguinte visual:<\/p>\n
D\u00ea fogo ao homem e ele se aquecer\u00e1 por aquele dia. Ensine-o a acender uma fogueira, e ele estar\u00e1 aquecido para o resto da vida. Sabemos que que o ingrediente vital do sucesso \u00e9 saber que o que voc\u00ea est\u00e1 fazendo n\u00e3o pode ser feito. O problema em ter a mente aberta \u00e9 que as pessoas insistir\u00e3o em colocar coisas nela.<\/p><\/blockquote>\n
Baboseira \u00e9 algo como:<\/p>\n
DFgdgfkljhdfnmn vdfkjdfk kdfjkswjhwiuerwp2ijnsd,mfns sdlfkls wkjgwlreoigh dfjdkjfhgdjbgk nretSRGsgkjdxfhgkdjfg gkfdgkoi
\ndfgldfkjgreiut rtyuiokjhg cvbnrtyu<\/p><\/blockquote>\nNossa tarefa \u00e9 desenvolver algoritmos que possam diferenciar as duas coisas. <\/strong>Apesar de ser f\u00e1cil para um humano, trata-se de um desafio. \u00c9 necess\u00e1rio muito esfor\u00e7o para formalizar a diferen\u00e7a. Usamos aprendizado de m\u00e1quina para isso: alimentamos o algoritmo com exemplos para que ele \u201caprenda\u201d como responder pergunta \u201cescrita ou baboseira?\u201d de forma confi\u00e1vel toda vez que o antiv\u00edrus analisar um arquivo. Essencialmente, isso que \u00e9 feito.<\/p>\n
J\u00e1 que estamos tratando este assunto no contexto de seguran\u00e7a de TI, e o principal objetivo de um software antiv\u00edrus \u00e9 encontrar c\u00f3digos maliciosos em um amontoado de dados limpos, chamaremos escrita de fato como texto \u201climpo\u201d e a baboseira de \u201cmalicioso\u201d.<\/p>\n
Solu\u00e7\u00e3o: use um\u00a0<\/strong>algoritmo<\/h3>\n
Nosso algoritmo calcular\u00e1 a frequ\u00eancia em que uma letra em particular \u00e9 sucedida por outra, analisando poss\u00edveis pares de letras. Por exemplo, para nossa primeira frase, \u201cD\u00ea fogo ao homem e ele se aquecer\u00e1 por aquele dia. Ensine-o a acender uma fogueira, e ele estar\u00e1 aquecido para o resto da vida\u201d (Give a man a fire and he\u2019s warm for the day. But set fire to him and he\u2019s warm for the rest of his life<\/em>), a frequ\u00eancia de letras em particular \u00e9 a seguinte:<\/p>\n
Bu \u2014 1
\nGi \u2014 1
\nan \u2014 3
\nar \u2014 2
\nay \u2014 1
\nda \u2014 1
\nes \u2014 1
\net \u2014 1
\nfe \u2014 1
\nfi \u2014 2
\nfo \u2014 2
\nhe \u2014 4
\nhi \u2014 2
\nif \u2014 1
\nim \u2014 1<\/p>\nPara deixar tudo mais simples, ignoramos pontua\u00e7\u00e3o e espa\u00e7os. Na frase temos ent\u00e3o, a letra a <\/em>seguida por n <\/em>tr\u00eas vezes, f <\/em>por i <\/em>duas vezes, e a <\/em>seguido por y <\/em>uma vez.<\/p>\n
Nesse est\u00e1gio, entendemos que uma frase n\u00e3o \u00e9 suficiente para fazer com que um modelo aprenda: Precisamos analisar uma sequ\u00eancia de texto ainda maior, vamos considerar os pares em \u201cO Vento Levou\u201d, de Margaret Mitchell \u2013 sendo preciso, nos primeiros 20% do livro. Eis algumas das s\u00edlabas:<\/p>\n
he \u2014 11460
\nth \u2014 9260
\ner \u2014 7089
\nin \u2014 6515
\nan \u2014 6214
\nnd \u2014 4746
\nre \u2014 4203
\nou \u2014 4176
\nwa \u2014 2166
\nsh \u2014 2161
\nea \u2014 2146
\nnt \u2014 2144
\nwc \u2014 1<\/p>\nComo voc\u00ea pode ver, a possibiliade de encontrar a combina\u00e7\u00e3o he <\/em>\u00e9 duas vezes mais de se ver um an. <\/em>J\u00e1 wc <\/em>aparece apenas uma vez (nesse caso \u00e9 na palavra newcomer<\/em>),<\/p>\n
Ent\u00e3o, agora temos um modelo de texto limpo, mas como podemos us\u00e1-lo? Primeiro, definimos a probabilidade de uma linha ser limpa ou maliciosa, o que chamaremos de autenticidade. <\/em>Definiremos a frequ\u00eancia de cada par de letras com o aux\u00edlio de um modelo (pela avalia\u00e7\u00e3o do qu\u00e3o real\u00edstica \u00e9 a combina\u00e7\u00e3o de letras) e a multiplica\u00e7\u00e3o de seus n\u00fameros.<\/p>\n
F(Gi) * F(iv) * F(ve) * F(e ) * F( a) * F(a ) * F( m) * F(ma) * F(an) * F(n ) * \u2026
\n6 * 364 * 2339 * 13606 * 8751 * 1947 * 2665 * 1149 * 6214 * 5043 * \u2026<\/p><\/blockquote>\nNa determina\u00e7\u00e3o do valor final de autenticidade, tamb\u00e9m consideramos o n\u00famero de s\u00edmbolos na linha: quanto maior a linha, mais n\u00fameros multiplicamos. Dessa forma, para tornarmos esse valor adequado para frases longas e curtas fazemos algumas m\u00e1gicas matem\u00e1ticas (extra\u00edmos a raiz quadrada do \u201ctamanho da linha em quest\u00e3o e subtra\u00edmos um\u201d do resultado.<\/p>\n
Utilizando o modelo <\/strong><\/h3>\n
Agora podemos tirar algumas conclus\u00f5es: quanto mais alto o n\u00famero calculad, melhor a linha em quest\u00e3o se encaixa ao modelo \u2013 e consequentemente, maior a chance de ter sido escrita por um humano. Se o texto tem nota alta, chamamos de limpo. <\/em><\/p>\n
Se uma linha cont\u00e9m muitas repeti\u00e7\u00f5es de combina\u00e7\u00f5es raras (como wx, zg, yq, <\/em>entre outras), \u00e9 prov\u00e1vel que seja maliciosa.<\/p>\n
Para a linha sob an\u00e1lise, medimos sua autenticidade por pontos, da seguinte forma:<\/p>\n
\n
- Give a man a fire and he\u2019s warm for the day. But set fire to him and he\u2019s warm for the rest of his life<\/em> \u2014 1984 pontos<\/li>\n
- It is well known that a vital ingredient of success is not knowing that what you\u2019re attempting can\u2019t be done<\/em> \u2014 1601 pontos<\/li>\n
- The trouble with having an open mind, of course, is that people will insist on coming along and trying to put things in it<\/em> \u2014 2460 pontos<\/li>\n
- DFgdgfkljhdfnmn vdfkjdfk kdfjkswjhwiuerwp2ijnsd,mfns sdlfkls wkjgwl<\/em> \u2014 16 pontos<\/li>\n
- reoigh<\/em> dfjdkjfhgdjbgk nretSRGsgkjdxfhgkdjfg gkfdgkoi \u2014 9 pontos<\/li>\n
- dfgldfkjgreiut rtyuiokjhg cvbnrtyu<\/em> \u2014 43 pontos<\/li>\n<\/ul>\n
Como voc\u00ea pode ver, as linhas limpas <\/em>faturam mais de 1000 pontos e as maliciosas nem chegam aos 100. Parece que o algoritmo funciona como esperado.<\/p>\n
De modo a contextualizar pontua\u00e7\u00f5es altas e baixas, a melhor forma \u00e9 delegar esse trabalho para a m\u00e1quina e deix\u00e1-la aprender. Para isso, submeteremos certo n\u00famero de linhas limpas reais \u00e0 avalia\u00e7\u00e3o e checaremos sua autenticidade, depois repetiremos o processo para linhas maliciosas. A partir da\u00ed calculamos a base da avalia\u00e7\u00e3o. No nosso caso, chega a 500 pontos.<\/p>\n
E na vida real?<\/strong><\/h3>\n
Vamos revisar o que j\u00e1 fizemos.<\/p>\n
1. Definimos as caracter\u00edsticas de linhas limpas (ex: pares de caracteres)<\/strong><\/p>\n
Na vida real, para desenvolver um antiv\u00edrus funcional, analistas tamb\u00e9m definiram caracter\u00edsticas de arquivos e outros objetos. Inclusive, suas contribui\u00e7\u00f5es s\u00e3o vitais: ainda \u00e9 um ser humano que define as fun\u00e7\u00f5es de avalia\u00e7\u00e3o do sistema, e o n\u00edvel de expertise e experi\u00eancia do especialista influencia diretamente na qualidade dessas fun\u00e7\u00f5es. Por exemplo, quem disse que algu\u00e9m precisa analisar caracter\u00edstica em pares e n\u00e3o trios? Essas considera\u00e7\u00f5es s\u00e3o avaliadas tamb\u00e9m em laborat\u00f3rios de antiv\u00edrus. Devo dizer aqui que na Kaspersky Lab usamos aprendizado de m\u00e1quina para selecionar as melhores fun\u00e7\u00f5es complementares.<\/p>\n
2. Usamos indicadores definidos para construir nossos modelos matem\u00e1ticos, feitos a partir de aprendizado originado de exemplos.<\/strong><\/p>\n