Comment tromper l'algorithme d'intelligence artificielle et des conséquences

En dehors de la fenêtre 2022. Vous conduisez la voiture autonome, comme d'habitude, de la ville. Le véhicule est adapté à un signe «stop», près de laquelle passait beaucoup de fois, mais cette fois, ne s'arrête pas devant lui. Pour vous, ce panneau «stop» à la différence d'autres. Mais pour la voiture, il est complètement différent. Quelques minutes plus tôt, personne ne l'ayant prévenu l'attaquant a mis sur le signe de la petite plaque, invisible pour l'œil humain, mais qu'on ne peut pas ne pas remarquer la technologie. C'est un petit autocollant sur le signe a transformé le signe «stop» en quelque chose de complètement différent du signe «stop».

Tout cela peut sembler incroyable. Mais la zone de culture de la recherche prouve que l'intelligence artificielle peut être trompé, s'il voit quelque chose de très petite pièce, tout à fait invisible pour les humains. Comme les algorithmes d'apprentissage de plus en plus souvent apparaissent sur nos routes, nos finances, notre système de santé, de l'informatique, les scientifiques espèrent en apprendre davantage sur la façon de les protéger contre de telles attaques, avant que quelqu'un essaie de duper vraiment.

«c'Est une source de préoccupation croissante dans le domaine de l'apprentissage automatique et de la communauté de l'IA, en particulier parce que ces algorithmes sont utilisés de plus en plus», dit Daniel Лоуд, professeur agrégé, département d'informatique et des sciences de l'information à l'Université de l'Oregon. «Si le spam passe ou bloqué plusieurs lettres, ce n'est pas la fin du monde. Mais si vous comptez sur le système de la vision à la voiture autonome, qui dit à la voiture de rouler, dans ce qui n'est pas en s'écrasant, les taux sont beaucoup plus élevés.

Peu importe, la machine tombe en panne ou est compromise, souffriront des algorithmes d'apprentissage automatique, qui «voient» le monde. Et voici pour la machine de panda commence à ressembler à gibbon et le bus — comme une autruche.

Dans une expérience, les scientifiques de la France et de la Suisse ont montré que de telles perturbations peuvent forcer l'ordinateur à tort de prendre des protéine en gris, le renard et le pot de café pour le perroquet.

Comment est-ce possible? Pensez à la façon dont l'enfant apprend à reconnaître les chiffres. En examinant les caractères, l'enfant commence à remarquer certaines caractéristiques communes: un plus grand et plus mince, six et neuf contiennent une grande boucle, et de huit — deux, et ainsi de suite. Après ils verront suffisamment d'exemples, ils peuvent reconnaître rapidement de nouveaux chiffres sous la forme de quatre, huit ou triples — même si, grâce à la police ou de l'écriture, ils ne seront pas exactement les mêmes, comme les autres quatre, huit ou de la troïka, qui ils jamais vu.

Les Algorithmes d'apprentissage automatique apprennent à lire le monde à travers plusieurs un processus similaire. Les scientifiques donnent à manger à l'ordinateur des centaines ou des milliers (généralement reconnus) exemples de ce qu'ils aimeraient découvrir sur votre ordinateur. Lorsque la machine passe au crible des données est un nombre, ce n'est pas, de ce nombre, ce n'est pas, elle commence à remarquer les caractéristiques qui conduisent à une réponse. Bientôt, elle peut voir sur l'image, et de dire: «c'Est cinq!» avec une grande précision.

Par conséquent, comme les enfants humains et les ordinateurs peuvent apprendre à reconnaître un grand nombre d'objets de chiffres avant de chats, de bateaux ou des personnes humaines

Mais, à la différence de l'enfant de l'homme, l'ordinateur ne fait pas attention aux détails de haut niveau, comme la fourrure des oreilles de chats ou angulaire distinctif de la forme du quartet. Il ne voit pas une seule image.

Au Lieu de cela, il regarde les différents pixels de l'image — et la plus rapide façon de diviser les objets. Si le grand nombre d'unités sera d'avoir un pixel noir à un certain point et quelques pixels blancs dans les autres points, la machine est très rapidement apprendre à les identifier sur plusieurs pixels.

Maintenant, revenons au signe «stop». Discrètement réglant les pixels de l'image — les experts appellent une telle intervention «пертурбациями» — vous pouvez tromper l'ordinateur et le faire penser que le signe «stop», en substance, et non.

Des études Similaires menées dans le Laboratoire d'évolution de l'intelligence artificielle à l'Université du Wyoming et de l'université Cornell, a produit beaucoup d'illusions d'optique pour l'intelligence artificielle. Ces psychédéliques images abstraites de motifs et de couleurs ne sont similaires pour les gens, mais rapidement reconnus par l'ordinateur, sous la forme de serpents ou des fusils. Ceci suggère que l'IA peut regarder quelque chose et de ne pas voir l'objet, soit de voir à la place d'autre chose.

Cette faiblesse est répandue dans tous les types d'algorithmes d'apprentissage automatique. «On pourrait s'attendre à ce que chaque algorithme a une brèche dans l'armure», dit Eugène Воробейчик, professeur agrégé, département d'informatique et d'ingénierie informatique à l'Université de Vanderbilt. «Nous vivons dans un très complexe, multidimensionnel le monde, et les algorithmes de par leur nature, ne touchent qu'une petite partie».

Воробейчик «il est sûr que, si ces vulnérabilités existent, quelqu'un trouvera comment les utiliser. Probablement, quelqu'un l'a déjà fait.

Considérons les filtres anti-spam, un programme automatisé qui élimine toute maladroit e-mails. Les spammeurs peuvent essayer de contourner cette barrière, en modifiant l'orthographe des mots (au lieu de viagra — wee@gras) ou en ajoutant une liste de «bons mots», qui se trouvent généralement dans des conditions normales de lettres comme le «ouais», «moi», «heureux». Entre-temps, les spammeurs peuvent essayer d'enlever les mots qui apparaissent souvent dans les spams, par exemple, le «mobile» ou «gagnant».

À quoi peuvent accéder à des escrocs en un jour? Gère tout seul la voiture, trompé par un autocollant sur le signe «stop», est un classique du scénario, qui a été inventé par des experts dans lece domaine. Des données supplémentaires peuvent aider à la pornographie de se glisser à travers sûrs filtres. D'autres peuvent essayer d'augmenter le nombre de chèques. Les pirates peuvent retoucher le code des logiciels malveillants, pour échapper à la police.

Les Contrevenants peuvent comprendre comment créer manquant de données, si заполучат une copie de l'algorithme d'apprentissage automatique, qui veulent tromper. Mais pour pénétrer l'algorithme, il n'est pas obligatoire. Vous pouvez simplement briser sa force brute, набрасывая sur lui est un peu différent de la version électronique ou d'images, jusqu'à ce qu'ils ne passeront pas. Avec le temps, cela vous pouvez même l'utiliser pour un modèle entièrement nouveau, qui saura, qui sont à la recherche de bons gars, et quels produire des données pour les tromper.

«les Gens manipulent les systèmes d'apprentissage automatique depuis qu'ils ont été présentés pour la première fois», explique Patrick Mcdaniel, professeur d'informatique et d'ingénierie à l'université de Pennsylvanie. «Si les gens utilisent ces méthodes, nous pouvons même pas savoir».

Ces mêmes méthodes peuvent profiter non seulement des escrocs — les gens peuvent se cacher des rayons x de l'œil de la technologie moderne.

Si vous êtes un dissident politique lors de la oppressive mode et que vous souhaitez mener des activités à l'insu des services de renseignement, vous devrez peut-être l'évitement des méthodes automatiques de surveillance sur la base de» machine learning", dit Лоуд.

Dans l'un des projets, publiés en octobre, des chercheurs de l'Université Carnegie — Mellon ont créé une paire de lunettes qui peuvent subtilement trompeuse système de reconnaissance faciale, forçant votre ordinateur à tort de prendre de l'actrice Reese Witherspoon par Russell Crowe. Cela semble ridicule, mais cette technologie peut être utile à quelqu'un qui tente désespérément d'éviter la censure de la part du pouvoir.

Que faire dans tout cela? «Le seul moyen d'éviter cette situation est de créer un modèle idéal, qui sera toujours la bonne», dit Лоуд. Même si nous avons pu créer une intelligence artificielle qui surpasserait les gens dans tous les sens, le monde peut encore pousser un cochon dans un endroit inattendu.

Les Algorithmes d'apprentissage généralement évalués sur leur précision. Un programme qui reconnaît les chaises dans 99% des cas, est nettement mieux que celui qui reconnaît les 6 chaises de 10. Mais certains experts proposent une autre façon d'évaluer la capacité de l'algorithme à faire face à l'attaque: le plus dur, mieux c'est.

Une Autre solution peut résider dans le fait, pour que les experts puissent poser des programmes d'un certain taux. Créez vos propres exemples d'attaques dans le laboratoire, en fonction des capacités des criminels, à votre avis, puis montrez-leur algorithme d'apprentissage automatique. Cela peut l'aider à devenir plus stable au fil du temps, bien entendu à condition que le test de l'attaque de correspondre au type, qui sera testé dans le monde réel.

«le Système d'apprentissage — un outil de réflexion. Nous devons être raisonnables et rationnelles à l'égard de ce que nous leur donnons ce qu'ils nous disent», estime Mcdaniel. «Nous ne devons pas nous traiter comme parfait оракулам de la vérité.