Pilotos automáticos da Tesla e da Mobileye enganados por “fantasmas”

É um roteiro batido de enredo de filmes: o personagem principal pensando que viu alguém na estrada, então desviam e terminam em uma vala. Agora imagine que é real – mais ou menos – e em vez de um truque da luz ou da mente, essa imagem vem de um cibercriminoso projetando, por uma fração de segundo, algo para o qual o piloto automático do carro está programado para responder. Pesquisadores da Georgia Tech e da Ben-Gurion University of the Negev demonstraram esse tipo de ameaça de “ataque fantasma” na RSA Conference 2021.

A ideia de mostrar imagens perigosas para sistemas de IA não é nova. As técnicas geralmente envolvem o uso de imagens modificadas para forçar a IA a tirar uma conclusão inesperada. Todos os algoritmos de aprendizado de máquina têm esse calcanhar de Aquiles; saber quais atributos são fundamentais para o reconhecimento de imagens – ou seja, conhecer um pouco sobre o algoritmo – permite modificar as imagens de forma a dificultar a tomada de decisão da máquina ou mesmo forçá-la a cometer um erro.

A novidade da abordagem demonstrada na RSA Conference 2021 é que o piloto automático mostrou imagens não modificadas – um invasor não precisa saber como o algoritmo funciona ou quais atributos ele usa. As imagens foram projetadas brevemente na estrada e em objetos estacionários próximos, com as seguintes consequências:

Em uma variação do tema, as imagens apareceram por uma fração de segundo em um comercial em uma placa à beira da estrada, com basicamente o mesmo resultado:

Assim, concluíram os autores do estudo, os cibercriminosos podem causar estragos a uma distância segura, sem perigo de deixar provas na cena do crime. Tudo o que eles precisam saber é quanto tempo eles têm para projetar a imagem para enganar a IA (carros autônomos têm um limite de gatilho para reduzir a probabilidade de produzir falsos positivos a partir de, por exemplo, sujeira ou detritos na lente da câmera ou lidar) .

Agora, a distância de frenagem de um carro é medida em dezenas de metros, então adicionar alguns metros para permitir uma melhor avaliação da situação não era um grande problema para os desenvolvedores de IA.

Tempo de reação dos sistemas de reconhecimento Tesla e Mobileye a uma imagem fantasma

No entanto, o número de alguns metros aplica-se ao sistema de visão artificial Mobileye e a uma velocidade de 60 km/h. Nesse caso, o tempo de resposta é de cerca de 125 milissegundos. O limite de resposta do piloto automático de Tesla, conforme determinado experimentalmente pelos pesquisadores, é quase três vezes mais longo, 400 milissegundos. Na mesma velocidade, isso adicionaria quase 7 metros. De qualquer forma, ainda é uma fração de segundo. Consequentemente, os pesquisadores acreditam que tal ataque pode vir do nada – antes que você perceba, você está em uma vala e o drone de projeção de imagem se foi.

Uma peculiaridade do sistema inspira esperança de que os pilotos automáticos consigam repelir esse tipo de ataque: as imagens projetadas em superfícies inadequadas para a exibição de fotos são muito diferentes da realidade. Distorção de perspectiva, bordas irregulares, cores não naturais, contraste extremo e outras estranhezas tornam as imagens fantasmas muito fáceis para o olho humano distinguir de objetos reais.

Como tal, a vulnerabilidade do piloto automático a ataques fantasmas é uma consequência da lacuna de percepção entre a IA e o cérebro humano. Para superar a lacuna, os autores do estudo propõem sistemas de piloto automático de automóveis com verificações adicionais de consistência em recursos como perspectiva, suavidade das bordas, cor, contraste e brilho, garantindo resultados consistentes antes de tomar qualquer decisão. Como um júri humano, as redes neurais deliberarão sobre os parâmetros que ajudam a distinguir os sinais reais de câmeras ou sinais fracos de um fantasma fugaz.

Isso, é claro, aumentaria a carga computacional dos sistemas e efetivamente levaria à operação paralela de várias redes neurais ao mesmo tempo, todas necessariamente treinadas (um processo longo e que consome muita energia). E os carros, que já são pequenos aglomerados de computadores sobre rodas, terão de se transformar em pequenos aglomerados de supercomputadores sobre rodas.

À medida que os aceleradores de IA são desenvolvidos e melhorados, os carros podem ser capazes de carregar várias redes neurais, trabalhando em paralelo e não drenando energia a bordo. Mas isso é história para outro dia.