Como enganar o algoritmo de inteligência artificial e o que é preocupante

A janela de 2022 ano. Você está dirigindo em uma auto-gerenciado carro, como de costume, pela cidade. Um veículo adequado ao sinal de "stop", pelo qual passava de um monte de vezes, mas desta vez não pára em frente a ele. Para você este sinal de "stop" é semelhante à de outros. Mas para o carro, ele é completamente diferente. Poucos minutos antes, sem dizer nada a ninguém, o atacante colocou no sinal de uma pequena placa de identificação, imperceptível para o olho humano, mas que não pode deixar de notar a tecnologia. Ou seja minúscula etiqueta no sinal transformou o sinal de "stop" em algo completamente diferente de um sinal de "stop".

Tudo isso pode parecer difícil de acreditar. Mas o aumento da área de estudo, o que prova que a inteligência artificial pode ser enganado assim, se ele vê algum pequeno detalhe, totalmente imperceptível para as pessoas. Como os algoritmos de aprendizado de máquina cada vez mais aparecem nas nossas estradas, nossas finanças, o nosso sistema de saúde, informática, os cientistas esperam aprender mais sobre como protegê-los de ataques semelhantes — antes de alguém tentar enganar-los verdadeiramente.

"Isso é uma preocupação crescente na área de aprendizado de máquina e a comunidade de IA, especialmente porque estes algoritmos são utilizados cada vez mais", diz Daniel Лоуд, professor associado do departamento de informática e ciência da informação na Universidade de Oregon. "Se o spam passa ou é bloqueado alguns e-mails, isso ainda não é o fim do mundo. Mas se você confiar em um sistema de visão no autónoma carro, que diz que o carro, como ir, nem o que não врезаясь, a aposta vai ser muito maior".

Não importa, vai quebrar ou a máquina está comprometida, a sofrer os algoritmos de aprendizado de máquina, que pode "ver" o mundo. E aqui está para a máquina de panda está começando a parecer como gibbon, em um ônibus escolar — como a avestruz.

Em um experimento, os cientistas da França e da Suíça, mostraram que, como tais distúrbios podem fazer com que o computador tomadas esquilo pela raposa cinzenta, e um pote de café para um papagaio.

Como isso é possível? Pense sobre como a criança aprende a reconhecer os números. Olhando para os caracteres um por um, a criança começa a perceber algumas características em comum: um acima e um magro, de seis e nove contêm um grande laço, e oito — dois, e assim por diante. Depois eles vão ver o suficiente de exemplos, eles podem reconhecer rapidamente os novos números na forma de quatros oitos ou triplos — mesmo quando, por meio de fonte ou escrita, eles não são exatamente a mesma aparência, como qualquer um dos outros quatro, oito ou trios, que eles nunca viram.

Os Algoritmos de aprendizado de máquina de aprender a ler o mundo através de mais um processo semelhante. Os cientistas скармливают computador centenas ou milhares (normalmente marcados) exemplos de coisas que eles gostariam de descobrir no computador. Quando a máquina peneira de dados é um número, este não é apenas um número, é um não — ela começa a perceber as características que levam à resposta. Logo, ela pode ver na foto e dizer: "É cinco!" com alta precisão.

Assim como as crianças humanas, e os computadores podem aprender a reconhecer a enorme quantidade de objetos — de dígitos de gatos, de barcos, de indivíduo humano лиц.

Mas, em contrapartida, a criança do homem, o computador não presta atenção em detalhes de alto nível — como peludos orelhas de gatos ou distintivo angular do formulário de quadrigêmeos. Ele não vê toda a imagem.

Em Vez disso, ele olha para os píxeis individuais de uma imagem — e mais rápida maneira de dividir os objetos. Se o grande número de unidades terá um pixel preto em um ponto específico, e alguns de pixels brancos em outros pontos, a máquina é muito rapidamente aprende-los a identificar vários pixels.

Agora, de volta ao sinal de "stop". Discretamente поправив pixels da imagem — os especialistas chamam de tal intervenção "пертурбациями" — você pode enganar o seu computador e fazer pensar que o sinal de "stop", em essência, não.

Uma pesquisa Similar realizada no Laboratório de evolução da inteligência artificial na Universidade de Wyoming e da universidade de cornell, produziram bastante um monte de ilusões de ótica para a inteligência artificial. Essas psicodélico imagens abstratas de padrões e cores que são semelhantes para as pessoas, mas rapidamente são reconhecidos pelo computador na forma de uma serpente ou rifles. Ele fala sobre como a AI pode olhar para uma coisa e não ver o objeto, ou ver, em vez de algo mais.

Esta fraqueza generalizada em todos os tipos de algoritmos de aprendizado de máquina. "Seria de esperar que cada algoritmo tem uma falha na armadura", diz Eugene Воробейчик, professor associado do departamento de ciência da computação e engenharia da computação na Universidade de Vanderbilt. "Vivemos numa época muito complexo multidimensional mundo, e os algoritmos de sua natureza, afeta apenas uma pequena parte dela".

Воробейчик "muito confiante" de que, se essas vulnerabilidades existem, alguém vai descobrir como usá-los. Provavelmente, alguém já fez isso.

Considere os filtros de spam, programas automatizados que eliminar qualquer desajeitado e-mails. Os spammers podem tentar contornar esta barreira, alterando a grafia de palavras (em vez de viagra vie@gra) ou adicionando uma lista de "boas palavras", que geralmente são encontrados em condições normais de letras: uma espécie de "aha", "mim", "estou feliz". Entretanto os spammers podem tentar remover a palavra, que muitas vezes aparecem em "spam", por exemplo, "celular" ou "vitória".

Até onde podem chegar os golpistas um dia? Самоуправляемый veículo enganado etiqueta no sinal de "stop", é um clássico cenário, que foi pensado por especialistas emnesta área. Mais dados podem ajudar a pornografia para deslizar através de uma forma segura filtros. Outros podem tentar aumentar o número de cheques. Os hackers podem ajustar um código de software, para escapar da lei.

Os Infratores podem entender como criar permitem a entrada de dados, se заполучат uma cópia de um algoritmo de aprendizado de máquina, que querem enganar. Mas para fazer o seu caminho através de um algoritmo, não é obrigatório. Você pode simplesmente quebrar a sua força bruta, набрасывая para ele um pouco diferentes da versão de e-mail ou imagens, até que eles passem. Com o tempo, isso pode até usar para um modelo totalmente novo que irá saber que estão a procura de bons meninos, e o que produzir dados que possam enganar.

"as Pessoas manipulam sistemas de aprendizado de máquina, desde então, como eles foram apresentados pela primeira vez", diz Patrick Mcdaniel, professor de ciência da computação e engenharia na universidade da pensilvânia. "Se as pessoas usam esses métodos, podemos até não saber".

Esses mesmos métodos podem beneficiar não apenas os golpistas—, as pessoas podem se esconder de raios-x de olho modernas tecnologias.

"Se você algum político dissidente quando репрессивном modo e quer a realização de atividades sem o conhecimento de inteligência, você pode precisar de vacância métodos automatizados de monitoramento baseado em aprendizagem de máquina", diz Лоуд.

Em um dos projetos, publicados em outubro, os pesquisadores da Universidade de Carnegie — Mellon university, criou um par de óculos, o que pode sutilmente enganar o sistema de reconhecimento facial, forçando o computador erroneamente a tomar a atriz Reese Witherspoon por Russell Crowe. Parece ridículo, mas essa tecnologia pode ser útil a alguém que tenta desesperadamente para evitar a censura de lado os detentores do poder.

Que mesmo com tudo isso fazer? "A única forma de evitar isso — criar um modelo ideal, que será sempre o correto", diz Лоуд. Mesmo se nós poderíamos criar inteligência artificial, o que superou as pessoas em todos os sentidos, o mundo ainda pode enfiar um porco em um lugar inesperado.

Os Algoritmos de aprendizado de máquina, normalmente, avaliam a sua precisão. O programa, que reconhece cadeiras em 99% dos casos, é claramente melhor do que aquela que reconhece a 6 cadeiras em 10. Mas alguns especialistas sugerem outra maneira de avaliar a capacidade do algoritmo de lidar com o ataque: quanto mais, melhor.

Outra solução pode estar no fato de, para os especialistas poderão fazer programas de um determinado ritmo. Crie seus próprios exemplos de ataques em laboratório, a partir dos recursos de criminosos em seu olhar, em seguida, mostre o seu algoritmo de aprendizado de máquina. Isso pode ajudá-lo a tornar-se mais resistente ao longo do tempo — desde que, é claro, que o teste de ataque irá corresponder a um tipo, que será testado no mundo real.

"Sistema de aprendizado de máquina — ferramenta para o pensamento. Temos de ser razoáveis e racionais em relação ao que nós lhes damos e o que eles nos dizem", acredita Mcdaniel. "Não devemos tratá-los como a mais perfeita aos porta-vozes da verdade".