Faut l'ouvrir «la boîte noire» de l'intelligence artificielle, ce n'est pas trop tard

Depuis plusieurs années dans les années 1980, les étudiants de l'école de médecine de l'hôpital de Saint-Georges à Londres choisi, en utilisant une technique de pointe. Un programme informatique, l'un des premiers en son genre, parcours résumé, en choisissant parmi toutes les demandes de l'ordre de 2000 candidats par an. Le programme d'analyse de l'enregistrement des recettes, en étudiant les caractéristiques des candidats, et jour, jusqu'à ce que ses décisions ne coïncident pas avec l'opinion de la commission d'admission.

Cependant, le programme a appris à trouver plus de bonnes notes et les signes de la réussite scolaire. Quatre ans après la mise en œuvre du programme de deux médecins à l'hôpital a constaté que le programme est généralement rejette des femmes-les candidats et les personnes non-européens noms, indépendamment de leurs mérites académiques. Les médecins ont constaté que l'ordre de 60 candidats chaque année simplement refusé dans un entretien d'embauche en raison de leur sexe ou de la race. Le programme comprenait le sexe et les préjugés raciaux dans les données utilisées pour l'apprentissage — en fait, a appris ce que les médecins et les étrangers ne sont pas les meilleurs candidats à un doctorat.

Trente ans plus tard, nous avons rencontré un problème similaire, mais les programmes internes de préjugés maintenant plus fréquentes et prennent des décisions avec encore des taux plus élevés. Les algorithmes de l'intelligence artificielle, basée sur l'apprentissage de la machine, sont utilisés partout, depuis les institutions gouvernementales et se terminant le secteur de la santé, en prenant des décisions et en faisant des prédictions basées sur des données historiques. En étudiant les régularités dans les données, ils absorbent aussi et les préjugés. Google, par exemple, montre le plus de publicité à bas salaire du travail aux femmes qu'aux hommes; une journée de livraison par Amazon contourne noires quartiers et appareils photo numériques avec peine reconnaissent la personne n'est pas blanc.

Il est Difficile de comprendre si l'algorithme biaisée, ou juste, et ainsi de considérer que même les experts en informatique. L'une des raisons réside dans le fait que les détails de la création de l'algorithme sont souvent considérés comme des brevetés de l'information, donc soigneusement gardée par les propriétaires. Dans des cas plus complexes, les algorithmes sont si complexes que même les créateurs ne savent pas exactement comment ils fonctionnent. C'est le problème de la soi-disant «boîte noire» de l'IA, de notre incapacité à voir l'intérieur de la partie de l'algorithme et de comprendre comment il vient à la décision. Si le laisser enfermé, notre société peut en souffrir: dans l'environnement numérique sont réalisés historiques de la discrimination dont nous avons lutté de nombreuses années, de l'esclavage et de servage à la discrimination des femmes.

Ces inquiétude formulées dans les petites communautés информатиков, auparavant, maintenant prennent une tournure sérieuse. Les deux dernières années dans ce domaine concernent beaucoup de publications sur la transparence de l'intelligence artificielle. Avec cette conscience se développe et le sens de la responsabilité. «Peut - être des choses que nous ne devrions pas construire?», pose la question de Kate Crawford, un chercheur de Microsoft et co-fondateur AI Maintenant Insitute de New York.

«l'apprentissage est enfin sorti au premier plan. Maintenant, nous essayons de l'utiliser pour des centaines de différentes tâches dans le monde réel», a déclaré Rich Caruana, chercheur de Microsoft. «Il est possible que les gens seront en mesure de déployer malveillants algorithmes, qui auront des répercussions sur la société dans le long terme. Maintenant, il semble, soudain, tout le monde a compris que c'est un important chapitre dans notre région».

non autorisé briser l'algorithme

Nous n'utilisons les algorithmes, mais le problème de la boîte noire n'a pas de précédents. Les premiers algorithmes ont été simples et transparentes. Beaucoup d'entre eux nous utilisons aujourd'hui, par exemple, pour l'évaluation de la solvabilité. Lors de chaque nouvelle utilisation il s'agit d'une réglementation.

«les Gens ont utilisé des algorithmes pour évaluer la solvabilité depuis des décennies, mais dans ces domaines ont été assez forts pour le règlement, qui a grandi en parallèle avec l'utilisation предиктивных algorithmes», dit Caruana. Les règles garantissent que les algorithmes de prévision de donner une explication de chaque point: il vous a été refusé parce que vous avez beaucoup de crédit est trop faible revenu.

Dans d'autres domaines, tels que le système juridique et de la publicité, de l'absence de règles interdisant l'utilisation notoirement непросчитываемых algorithmes. Vous ne pouvez pas savoir pourquoi vous avez été refusé dans le prêt ou n'ont pas d'emploi, parce que personne ne les oblige le propriétaire de l'algorithme d'expliquer comment cela fonctionne. «Mais nous savons que, puisque les algorithmes sont formés sur les données du monde réel, ils doivent être biaisée parce que le monde réel предвзят», dit Caruana.

Par exemple, le langage est l'une des plus évidents des sources de biais. Lorsque les algorithmes sont formés par écrit le texte, ils moisissent certaines associations entre les mots qui apparaissent ensemble plus souvent. Par exemple, ils apprennent que «pour les hommes pas d'être un informaticien programmeur — c'est la même que pour une femme d'être une femme au foyer». Quand cet algorithme chargeront de trouver le bon cv pour le travail du programmeur, le plus probablement, il choisit parmi les candidats.

Ces problèmes assez facile à corriger, mais de nombreuses entreprises c'est tout simplement ne va pas. Au lieu de cela, ils vont cacher ces incohérences pour le bouclier de renseignements protégés. Sans accès aux détails de l'algorithme, les experts dans de nombreux cas, ne peuvent pas déterminer un biais ou non.

Parce que ces algorithmes sont secrets et restent en dehors de la juridiction de la réglementation, les citoyens pratiquement impossiblecondamner des créateurs d'algorithmes. En 2016, la cour suprême du Wisconsin a rejeté la demande de l'homme d'examiner le fonctionnement interne de COMPAS. Un homme, Eric Loomis, a été condamné à six ans de prison en partie parce que le COMPAS a jugé «высокорисковым». Loomis a dit que son droit à une procédure régulière a été violé la dépendance du juge de l'opaque de l'algorithme. Sa demande sur l'examen de l'affaire devant la cour Suprême des états-UNIS a échoué en juin 2017.

Mais furtive de la société ne seront pas profiter de leur liberté pendant une durée illimitée. Pour le mois de mars l'Union européenne prendra des lois, qui exigeront de sociétés possibilité d'expliquer aux clients intéressés, comment fonctionnent les algorithmes et la prise de décision. Les USA n'ont pas une telle législation dans le développement.

la Criminologie de la boîte noire

Peu importe si les autorités de régulation impliqués dans tout cela, culturel changement dans la façon dont sont conçus et déployés à des algorithmes, peut réduire la prévalence de la biaisées des algorithmes. Comme de plus en plus les entreprises et les programmeurs s'engagent à faire leurs algorithmes transparentes et объяснимыми, certains espèrent que les entreprises qui ne le font pas, perdent une bonne réputation aux yeux du public.

Augmentation de la puissance de calcul a permis de créer des algorithmes, qui sont exactes, et объяснимыми — ce un défi technique, les développeurs ne pouvaient pas surmonter historiquement. Les dernières études montrent que vous pouvez créer explicable modèles qui permettent de prédire la récidive criminels sujets exactement comme une boîte noire de criminalistique comme un COMPAS.

«Tout est prêt, nous savons comment créer des modèles sans les boîtes noires», dit Cynthia Rudin, professeur d'informatique et de génie électrique à l'Université de Duke. «Mais n'est pas si facile d'attirer l'attention des gens à ce travail. Si les agences gouvernementales à cesser de payer le modèle de la boîte noire, cela aurait aidé. Si les juges refuseront d'utiliser le modèle de la boîte noire de détermination de la peine, c'est aussi les aider».

D'Autres travaillent à trouver des façons de tester la sincérité des algorithmes, en créant un système de contrôles et балансировок avant que l'algorithme sera publié dans le monde, de même que la mise à l'épreuve de chaque nouveau produit.

«Maintenant, les modèles sont faits et sont déployées trop vite. N'est pas effectué de tests appropriés avant la sortie de l'algorithme à la lumière», dit Sara Tan de l'université Cornell.

Dans l'idéal, les développeurs doivent l'emporter connus biais, par exemple, de sexe, d'âge et de race et d'exécuter des internes de simulation pour tester leurs algorithmes, la présence d'autres problèmes.

Pendant Ce temps, avant d'arriver à un point où tous les algorithmes seront soigneusement testées avant la sortie, il est possible de déterminer quels sont ceux qui vont souffrir de préjugés.

Dans son dernier ouvrage Tang, Caruana et leurs collègues ont décrit une nouvelle façon de comprendre ce qui peut se produire sous le capot des algorithmes de la boîte noire. Les scientifiques ont créé un modèle qui simule l'algorithme de la boîte noire, en apprenant à évaluer le risque de récidive selon le COMPAS. Aussi, ils ont créé un autre modèle qui a été formée selon les données du monde réel, qui montrent vraiment venu prédit la récidive. La comparaison des deux modèles a permis aux scientifiques d'évaluer l'exactitude prévisible points, n'en analysant l'algorithme. Les différences dans les résultats des deux modèles peuvent afficher des variables, tels que la race ou l'âge, peuvent être plus importants dans l'un ou l'autre modèle. Leurs résultats ont montré que le COMPAS discrimine au noir des gens.

Correctement construites algorithmes peuvent éliminer depuis longtemps établi des préjugés dans le domaine de la justice pénale, de la police et de nombreux autres domaines de la société.