Cómo engañar a un algoritmo de inteligencia artificial y que son las consecuencias

Detrás de la ventana de 2022. Vas a autoadministrado coche, como de costumbre, por la ciudad. El vehículo adecuado a la señal de "stop", delante de la cual pasaba muchas veces, pero esta vez no se detiene ante él. Para usted este signo de "stop", similar al de otros. Pero para el coche de él completamente diferente. Pocos minutos antes, a nadie con un aviso, un atacante a. el signo de un pequeño letrero, незаметную para el ojo humano, pero que no puede no notar la tecnología. Es decir, la minúscula de la etiqueta en la señal, convirtió a la señal de "stop" en algo completamente diferente signo de "stop".

Todo esto puede parecer increíble. Pero la creciente área de investigación demuestra que la inteligencia artificial puede ser engañado así, si ve alguna pequeña pieza, completamente незаметную para la gente. A medida que los algoritmos de aprendizaje de máquina cada vez más aparecen en nuestros caminos, nuestras finanzas, nuestro sistema de salud, sistemas de computación, los científicos esperan aprender más sobre cómo protegerse de estos ataques, antes de que alguien intenta engañar a los de verdad.

"Es una causa cada vez más preocupación en el área de aprendizaje automático y de la comunidad de la ia, especialmente porque estos algoritmos se utilizan más y más", dice daniel Lowood, profesor asociado del departamento de informática y ciencias de la información en la Universidad de oregon. "Si el spam pasa o se bloquea varias cartas, no es el final de la luz. Pero si usted confía en el sistema de la visión de autoadministrado la máquina, lo que dice el vehículo, como ir, ni en que no врезаясь, las apuestas serán mucho mayores".

Independientemente de si se rompe la máquina o se ve comprometida, sufrirán los algoritmos de aprendizaje automático, que "ven" el mundo. Y aquí para la máquina de panda empieza a verse como gibbon, y en el autobús escolar — como el avestruz.

En un experimento, los científicos de francia y suiza, se han mostrado como tales alteraciones pueden hacer que el equipo tome la ardilla por el gris, el zorro, y la cafetera por el loro.

¿Cómo es posible? Piense en cómo el niño aprende a reconocer los números. En cuanto a los caracteres uno por uno, el niño empieza a notar algunas características generales: uno más alto y más delgado, seis y nueves contienen un gran lazo, y el grupo de los ocho — dos, y así sucesivamente. Después de que se verán suficiente de ejemplos, se pueden reconocer rápidamente las nuevas cifras en forma de cuatros, de ochos o triples — incluso si gracias a la fuente o почерку que no se verá de la misma manera como cualquier otra de cuatro, de ocho o de la troika, que ellos nunca habían visto.

Los Algoritmos de aprendizaje de máquina están aprendiendo a leer el mundo a través de varios proceso similar. Los científicos se les dio un ordenador cientos o miles (normalmente marcados) ejemplos de lo que les gustaría encontrar en el equipo. Cuando la máquina просеивает datos es un número, no es el, es el número, no lo es — comienza a notar las características que llevan a la respuesta. Poco se puede ver en la imagen y decir: "Esto es cinco!" con una alta precisión.

Por lo tanto, como un ser humano de los niños, y los equipos pueden aprender a reconocer un gran número de objetos de dígitos a los gatos, desde barcos hasta el nivel humano de personas

Pero, a diferencia de el niño de la persona, el equipo no presta atención a los detalles de alto nivel — como el peludas orejas de los gatos o distintivo угловатой forma de cuatro. No se ve una sola imagen.

En Lugar de ello, mira a los píxeles individuales de la imagen y de la forma más rápida de dividir los objetos. Si el gran número de unidades tendrá un pixel negro en un punto determinado y varios píxeles blancos en otros puntos, la máquina es muy rápido de aprender de ellos se determina por varios píxeles.

Ahora, de vuelta a la señal de "stop". Imperceptible habiendo reparado los píxeles de la imagen — los expertos llaman la intervención "пертурбациями" — se puede engañar a la computadora y hacer creer que el signo de "stop", en realidad, no.

Estudios Similares realizados en el Laboratorio evolutivo de la inteligencia artificial en la Universidad de wyoming y de la universidad de cornell, produjeron bastantes ilusiones ópticas para la inteligencia artificial. Estos psicodélicas imágenes abstractas de patrones y colores no se parecen a los hombres, pero rápidamente se reconoce el ordenador en forma de serpiente o de rifles. Esto habla de cómo la ia puede mirar algo y no ver el objeto, o ver en su lugar a algo más.

Esta debilidad generalizada en todos los tipos de algoritmos de aprendizaje de máquina. "Era de esperar que cada algoritmo tiene un agujero en la armadura", dice eugene Воробейчик, docente de la cátedra de informática y computación de la Universidad de vanderbilt. "Vivimos en un muy complejo, multidimensional mundo, y los algoritmos, por su naturaleza, sólo afectan a una pequeña parte de él".

Воробейчик "muy seguro" de que, si estas vulnerabilidades existen, alguien descubre como aprovecharse de ellos. Es probable que alguien ya lo hizo.

Considere los filtros de spam, programas automatizados que seleccionan cualquier torpe de los correos electrónicos. Los spammers pueden tratar de evitar esta barrera, cambiando la ortografía de las palabras (en lugar de viagra — vie@gra) o mediante la adición de una lista de "buenas palabras", que generalmente se encuentran en condiciones normales de cartas: una especie de "aj", "me", "contento". Entre tanto, los spammers pueden tratar de quitar las palabras que aparecen con frecuencia en el spam, por ejemplo, "móvil" o "premio".

Hasta dónde pueden llegar los delincuentes en un día? Самоуправляемый coche, engañado con la etiqueta en el signo de "stop", es un clásico escenario, que fue acuñado por los expertos enesta esfera. Para obtener más información pueden ayudar a la pornografía deslizarse a través de seguros de filtros. Otros pueden tratar de aumentar el número de cheque. Los hackers pueden retocar el código de software malicioso, para escapar de la policía.

Los Infractores pueden entender cómo crear dejan pasar los datos, si заполучат una copia de un algoritmo de aprendizaje de máquina, que quieren engañar. Pero para penetrar a través de un algoritmo, no es obligatorio. Simplemente puede romper por la fuerza bruta, набрасывая en él un poco diferente de la versión de correo electrónico o de imágenes, hasta que no pasen. Con el tiempo, esto se puede utilizar incluso para un modelo nuevo, que va a saber lo que buscan los buenos, y qué producir información, para engañar.

"las Personas que manipulan los sistemas de aprendizaje automático desde entonces, como se han presentado por primera vez", dice patrick Макдэниел, profesor de ciencias de la computación y de ingeniería en la universidad de pennsylvania. "Si la gente usa estos métodos, podemos incluso hablar de esto, no saber.

Estos mismos métodos se pueden utilizar no sólo de los delincuentes — la gente puede esconderse de rayos x de los ojos de las tecnologías modernas.

"Si algún político disidente al репрессивном de línea y desea realizar actividades sin el conocimiento de los servicios secretos, usted puede necesitar la evitación de los métodos automáticos de vigilancia basado en aprendizaje automático", dice Lowood.

En uno de los proyectos publicados en el mes de octubre, los investigadores de la Universidad carnegie — mellon university han creado un par de puntos que pueden finamente confundir el sistema de reconocimiento de personas, haciendo que el equipo confundir a la actriz reese witherspoon por russell crowe. Suena ridículo, pero esta tecnología puede ser útil a alguien que está tratando desesperadamente de evitar la censura por parte de los dueños del poder.

Lo mismo con esto de hacer? "La única forma de evitar este problema es crear un modelo ideal, que será siempre la correcta", dice Lowood. Incluso si hemos sido capaces de crear una inteligencia artificial, que superó a la gente en todos los sentidos, el mundo todavía se puede meter a un cerdo en un lugar inesperado.

Los Algoritmos de aprendizaje de máquina normalmente se evalúan por su precisión. Un programa que reconoce las sillas, en el 99% de los casos, será claramente mejor que la que reconoce el 6 sillas de 10. Pero algunos expertos sugieren que otra forma de evaluar la capacidad del algoritmo de lidiar con el ataque: cuanto más duro, mejor.

Otra solución puede estar en el hecho de que los expertos puedan definir los programas de un determinado ritmo. Cree sus propios ejemplos de ataques en el laboratorio, en función de las posibilidades de los delincuentes en su mirada y, a continuación, muestre su algoritmo de aprendizaje de máquina. Esto le puede ayudar a ser más sostenibles con el paso del tiempo, siempre y cuando, por supuesto, que la prueba de ataque coincidir con el tipo, que se pondrá a prueba en el mundo real.

"el Sistema de aprendizaje de máquina — herramienta para la reflexión. Debemos ser razonables y racionales en el sentido de que nosotros les damos y que nos dicen", considera Макдэниел. "No debemos tratarlos como perfecto оракулам de la verdad".