Atualização: a Apple mencionou uma segunda inspeção do servidor, e uma empresa profissional de visão computacional delineou uma possibilidade do que isso poderia ser descrito em “Como a segunda inspeção pode funcionar” abaixo.
Depois que os desenvolvedores fizeram engenharia reversa de partes dele, a versão inicial do sistema Apple CSAM foi efetivamente enganada para marcar uma imagem inocente.No entanto, a Apple afirmou que possui salvaguardas adicionais para evitar que isso aconteça na vida real.
O desenvolvimento mais recente ocorreu depois que o algoritmo NeuralHash foi publicado no site de desenvolvedores de código aberto GitHub, qualquer um pode experimentá-lo…
Todos os sistemas CSAM funcionam importando um banco de dados de materiais de abuso sexual infantil conhecidos de organizações como o Centro Nacional para Crianças Desaparecidas e Exploradas (NCMEC).O banco de dados é fornecido na forma de hashes ou impressões digitais a partir de imagens.
Embora a maioria dos gigantes da tecnologia digitalize fotos carregadas na nuvem, a Apple usa o algoritmo NeuralHash no iPhone do cliente para gerar um valor de hash da foto armazenada e, em seguida, compara-o com a cópia baixada do valor de hash CSAM.
Ontem, um desenvolvedor alegou ter feito engenharia reversa do algoritmo da Apple e liberado o código para o GitHub - essa afirmação foi efetivamente confirmada pela Apple.
Poucas horas após o lançamento do GitHib, os pesquisadores usaram com sucesso o algoritmo para criar um falso positivo intencional – duas imagens completamente diferentes que geraram o mesmo valor de hash.Isso é chamado de colisão.
Para tais sistemas, há sempre o risco de colisões, porque o hash é, obviamente, uma representação bastante simplificada da imagem, mas é surpreendente que alguém possa gerar a imagem tão rapidamente.
A colisão deliberada aqui é apenas uma prova de conceito.Os desenvolvedores não têm acesso ao banco de dados de hash CSAM, o que exigiria a criação de falsos positivos no sistema em tempo real, mas prova que os ataques de colisão são relativamente fáceis em princípio.
A Apple confirmou efetivamente que o algoritmo é a base de seu próprio sistema, mas disse à placa-mãe que esta não é a versão final.A empresa também afirmou que nunca teve a intenção de mantê-lo confidencial.
A Apple disse ao Motherboard em um e-mail que a versão analisada pelo usuário no GitHub é uma versão genérica, não a versão final usada para detecção do iCloud Photo CSAM.A Apple disse que também divulgou o algoritmo.
“O algoritmo NeuralHash [...] faz parte do código do sistema operacional assinado [e] pesquisadores de segurança podem verificar se seu comportamento está de acordo com a descrição”, escreveu um documento da Apple.
A empresa continuou dizendo que há mais duas etapas: executar um sistema de correspondência secundário (secreto) em seu próprio servidor e revisão manual.
A Apple também afirmou que, depois que os usuários ultrapassarem o limite de 30 correspondências, um segundo algoritmo não público executado nos servidores da Apple verificará os resultados.
“Esse hash independente foi escolhido para rejeitar a possibilidade de que o NeuralHash errôneo corresponda ao banco de dados CSAM criptografado no dispositivo devido à interferência adversária de imagens não CSAM e exceda o limite de correspondência.”
Brad Dwyer, da Roboflow, encontrou uma maneira de distinguir facilmente entre as duas imagens postadas como prova de conceito para um ataque de colisão.
Estou curioso para saber como essas imagens aparecem no CLIP de um extrator de recursos neurais semelhante, mas diferente, OpenAI.O CLIP funciona de forma semelhante ao NeuralHash;ele pega uma imagem e usa uma rede neural para gerar um conjunto de vetores de recursos que mapeiam o conteúdo da imagem.
Mas a rede da OpenAI é diferente.É um modelo geral que pode mapear entre imagens e texto.Isso significa que podemos usá-lo para extrair informações de imagem compreensíveis para humanos.
Executei as duas imagens de colisão acima através do CLIP para ver se também foi enganado.A resposta curta é não.Isso significa que a Apple deve ser capaz de aplicar uma segunda rede extratora de recursos (como CLIP) às imagens CSAM detectadas para determinar se elas são reais ou falsas.É muito mais difícil gerar imagens que enganam duas redes ao mesmo tempo.
Finalmente, como mencionado anteriormente, as imagens são revisadas manualmente para confirmar que são CSAM.
Um pesquisador de segurança disse que o único risco real é que qualquer pessoa que queira incomodar a Apple possa fornecer falsos positivos a revisores humanos.
“A Apple realmente projetou este sistema, então a função de hash não precisa ser mantida em segredo, porque a única coisa que você pode fazer com 'não-CSAM como CSAM' é irritar a equipe de resposta da Apple com algumas imagens inúteis até que implementem filtros para eliminar análise Esses lixos no pipeline são falsos positivos”, disse Nicholas Weaver, pesquisador sênior do Instituto de Ciência da Computação Internacional da Universidade da Califórnia, Berkeley, ao Motherboard em um bate-papo online.
A privacidade é uma questão de crescente preocupação no mundo de hoje.Siga todos os relatórios relacionados à privacidade, segurança, etc. em nossas diretrizes.
Ben Lovejoy é um escritor técnico britânico e editor da UE para 9to5Mac.Ele é conhecido por suas colunas e artigos de diário, explorando sua experiência com produtos da Apple ao longo do tempo para obter análises mais abrangentes.Ele também escreve romances, há dois thrillers técnicos, alguns curtas-metragens de ficção científica e uma rom-com!
Horário da postagem: 20 de agosto de 2021