Google força usuários a usar o Android System SafetyCore para verificar nudes

Mergulhamos no mecanismo do controverso app de verificação de nudes que misteriosamente se materializou em um bilhão de telefones.

Como e por que o Android SafetyCore verifica imagens, e como removê-lo.

Desde fevereiro, muitos usuários vêm reclamando que o app Android System SafetyCore surgiu repentinamente nos telefones Android. Ele não tem interface nem configurações, mas o Google Play afirma que o desenvolvedor é o próprio Google, o número de instalações ultrapassa um bilhão e a classificação média é de apenas 2,4 estrelas. O propósito do app é descrito de forma vaga: “ele oferece a tecnologia necessária para recursos como os Avisos de Conteúdo Sensível no Google Mensagens, que ainda serão implementados”. Não é difícil adivinhar o que significa “conteúdo sensível”, mas como e por que o Google vai emitir avisos sobre isso? E como ele vai descobrir se o conteúdo é realmente sensível por natureza?

Primeiro, algumas garantias sobre privacidade: nem o Google nem especialistas independentes relataram quaisquer preocupações com privacidade. O SafetyCore é executado localmente, ele não envia fotos ou informações associadas para servidores externos. Quando o usuário recebe uma imagem no Google Mensagens, um modelo de aprendizado de máquina executado localmente no telefone analisa e desfoca a imagem se detectar algo picante. Para remover o desfoque, o usuário precisa tocar na imagem e confirmar que realmente deseja visualizar o conteúdo. Algo parecido acontece durante o envio: se o usuário tentar enviar uma imagem com nudez, o telefone pedirá confirmação antes do envio. O Google ressalta que não envia resultados de verificação para lugar nenhum.

O app SafetyCore lida com a análise de imagens, mas não foi desenvolvido para uso independente. Outros apps acionam o SafetyCore ao enviar ou receber fotos, mas definem como utilizar os resultados da análise. Até agora, a análise de IA só pode ser usada no Google Mensagens: imagens reconhecidas como “sensíveis” ficarão desfocadas. No futuro, o Google promete disponibilizar os recursos do SafetyCore para outros desenvolvedores para permitir que apps como WhatsApp e Telegram também detectem nudes. Outros apps, por exemplo, podem ser configurados para bloquear conteúdo adulto ou filtrar imediatamente essas imagens como spam.

Ao contrário de iniciativas anteriores do Google e da Apple para proteger crianças de conteúdo indesejado, o SafetyCore faz a análise localmente, sem servidores externos, o que aumenta a privacidade, mas exige mais do hardware. O Google prevê que o SafetyCore será instalado em todos os telefones suficientemente potentes (2 GB de RAM, Android 9+). O recurso será desativado por padrão para usuários adultos, mas ativado para menores. Se você não precisa desse tipo de ajuda ou não gosta de ter apps extras, basta remover o SafetyCore de seu telefone. Ao contrário de vários outros serviços do Google, o app pode ser facilmente desinstalado pelo Google Play e pela subseção “Aplicativos” das configurações do telefone. No entanto, o Google poderá reinstalar o app com uma atualização futura.

O SafetyCore é o mais sofisticado, mas não o único, sistema de proteção baseado em IA no dispositivo (o que significa que não há uso de nuvem nem compartilhamento de dados do usuário) que o Google está desenvolvendo. Juntamente com o SafetyCore, em outubro de 2024, o Google anunciou modelos de linguagem desenvolvidos para analisar mensagens de estranhos no Google Mensagens e sugerir o encerramento da conversa se o texto da mensagem se assemelhar a um esquema típico de golpe.

Além do SafetyCore, outro app está surgindo sem aviso prévio nos dispositivos, o Android System Key Verifier. Ele não tem interface de usuário, pode ser facilmente desinstalado e foi desenvolvido para garantir comunicação segura. No entanto, ele não apresenta nenhuma análise orientada por IA. O app permite que dois usuários verifiquem suas chaves criptografadas de ponta a ponta durante a troca de mensagens. O WhatsApp e o Signal têm suas próprias maneiras de fazer isso: os usuários verificam os códigos QR uns dos outros quando se encontram pessoalmente ou comparam longas sequências de números que aparecem na tela. O Google quer facilitar isso para todos os apps de mensagens ao colocar uma interface padrão no Android.

O principal problema dos usuários com o Google, e o motivo das avaliações ruins, não é o que os apps fazem, mas como eles são instalados: sem aviso prévio, sem explicações e impedindo a decisão do usuário. Um novo app acaba de aparecer nos telefones. Muitos avaliadores do Google Play ficam preocupados e acham que pode ser vírus, e alguns alegam que seus telefones ou apps específicos apresentam desempenho reduzido. Não há relatos de problemas após a instalação desses apps do Google. No entanto, em caso de dúvidas, é possível desinstalá-los manualmente para verificar se o desempenho do telefone melhora.

Dicas