Les scientifiques ont découvert pourquoi l'IA peut être un raciste et сексистом

Une Mauvaise expérience de la société Microsoft avec son IA-algorithme de Tay (Tei), qui, dans un délai de 24 heures après le début de l'interaction avec des gens de «Twitter» s'est transformé en endurcis raciste, a montré, que vous créez aujourd'hui, IA-systèmes peuvent être victimes humaines préjugés et, en particulier, des stéréotypes de la pensée. Pourquoi cela se passe – essayé de trouver un petit groupe de chercheurs de l'université de Princeton. Et ce qui est intéressant, ils ont réussi. En outre, ils ont développé un algorithme capable de prédire la manifestation les stéréotypes sociaux sur la base d'une analyse intense que les gens communiquent entre eux en Ligne.

Beaucoup d'IA-systèmes passent leur formation dans la compréhension du langage humain à l'aide massive des collections de données de texte. On les appelle des corps. Ils sont un tel web archive Internet, contenant 840 milliards différents jetons ou des mots. Les chercheurs Eileen Калискан et ses collègues de Princeton centre des technologies de l'information intéressé – le dans le boîtier de Common Crawl (l'un des plus populaires sites pour l'apprentissage de l'IA), en fait создающегося des millions d'utilisateurs d'Internet, les concepts que l'on pourrait détecter à l'aide d'un algorithme informatique. Pour ce faire, ils avaient tout à fait non-standard de la méthode – l'épreuve cachés de l'association (Implicit Association Test (IAT), utilisé pour l'étude des attitudes sociales et des stéréotypes chez les gens.

Normalement, un tel test est la suivante: on demande aux gens de diviser un certain jeu de mots en deux catégories. Plus une personne pense, dans quelle catégorie placer un mot, moins la personne associe dans ce cas c'est un mot avec une ou l'autre catégorie. En général, les tests de l'IAT sont utilisés pour la mesure de niveau des stéréotypes de la pensée chez les personnes en associatif de la structuration d'un ensemble aléatoire de mots selon les catégories comme le sexe, la race, le handicap, l'âge et ainsi de suite. Le résultat de ces tests est généralement tout à fait prévisible. Par exemple, la plupart des personnes interrogées associent le mot femme avec la notion de «famille», tandis que l'homme – à la notion de «travail». Cependant, la clarté et la prévisibilité des résultats sont la preuve de l'utilité des tests de l'IAT, qui indiquent notre stéréotypée de la pensée dans son ensemble. Parmi les vrais scientifiques, bien sûr, vont une certaine controverse au sujet de la précision de l'IAT, mais la majorité est d'accord avec le fait que ces tests ne reflètent directement nos sociaux de l'installation.

En Utilisant l'IAT-tests en tant que modèle, Калискан et ses collègues ont créé un algorithme WEAT (Word-Embedding Association Test), qui analyse les fragments de l'ensemble des textes, pour savoir quels sont les linguistiques de l'essence plus étroitement liés entre eux, que les autres. Une partie de ce test est basé sur le élaboré par l'université de stanford une conception GloVe (Global Vectors for Word Representation) qui calcule le vecteur de relations sémantiques entre les mots, c'est-à réunit le lien entre les termes. Par exemple, le mot «chien», présentée dans le phaseur du modèle sémantique, sera lié avec des mots tels que «chiot», «le chien», «toutou», «chien de garde», «chien» et d'autres termes qui décrivent le chien. L'essence de ces modèles sémantiques n'est pas dans la description du mot «chien», et dans la façon de décrire le concept de chien. C'est comprendre ce qu'elle représente. Ceci est particulièrement important lorsque vous travaillez avec les stéréotypes sociaux, lorsque quelqu'un, par exemple, tente de décrire le terme «femme» des concepts tels que la «jeune fille» ou «mère». Ces modèles sont largement utilisés dans l'informatique linguistique. Pour simplifier le travail des chercheurs ont limité chaque sémantique d'un concept de trois cents vecteurs.

Afin De déterminer le degré de une forte chaque concept de l'Internet a l'association avec un autre concept à l'intérieur du texte, l'algorithme WEAT regarde directement sur de nombreux facteurs. Au niveau le plus élémentaire, explique Калискан, l'algorithme vérifie combien de mots séparent les deux distinctes de concept (c'est-vérifie la proximité de leur emplacement à l'intérieur de test de champ), mais également en compte, vont et d'autres facteurs comme la fréquence d'utilisation d'un mot.

Après l'algorithmique, la conversion de la «proximité» des concepts en WEAT est pris pour un équivalent temps nécessaire à l'homme pour la catégorisation des concept dans le test de l'IAT. Plus loin les uns des autres coûtent de concepts, d'autant plus à distance associative le lien entre eux était le cerveau de l'homme. L'algorithme WEAT s'est déclenché dans ce plan idéal de constater stéréotypée de la communication, qui ont également été trouvés dans le cadre des tests de l'IAT.

«Nous avons fait adapté tests de l'IAT pour les machines. Et notre analyse a montré que, si vous allez donner à manger à l'IA humaines de données contenant des stéréotypes, c'est eux, et il s'en souviendra», — commente Калискан.

De Plus, cet ensemble de stéréotypes de données affecte la manière dont l'IA va se comporter à l'avenir. À titre d'exemple Калискан par le fait que l'algorithme de traducteur en ligne de Google Translate est mal traduit les mots en anglais avec d'autres langues, en se fondant sur des stéréotypes, qu'il a appris sur la base de l'égalité des sexes. Imaginez maintenant que l'Internet est remplie de toute l'armée de l'IA-bots, reproduisant tous nos stéréotypés concepts de nous même et rassembls. C'est ce que l'avenir nous attend si nous sérieusement de ne pas réfléchir sur un certain redressement méthode d'amendements des comportements stéréotypés de tels systèmes.

Bien que Калискан et ses collègues ont constaté que l'internet, la langue littéralementзаполонен sociaux stéréotypés des concepts et des préjugés, il s'est également avéré plein de bon associatives rangées. Dans l'un des tests, les chercheurs ont constaté une forte association entre les concepts de «femme» et «maternité». Ce tableau associatif reflète la vérité de la réalité, dans laquelle la maternité et de la parentalité est vraiment considérée essentiellement comme des femmes de la tâche.

«le Langage est le reflet du monde réel», — dit Калискан.

«Saisie stéréotypées, les concepts et les statistiques des faits sur le monde autour de fera de la machine modèle de moins en moins précis. Mais encore une fois il suffit de prendre et d'éliminer tous les stéréotypes de la notion de l'impossible, c'est pourquoi nous devons apprendre à travailler avec ce qu'il y a déjà maintenant. Nous avons conscience, nous pouvons prendre les bonnes décisions au lieu de préjugés et d'options. La machine n'est pas la conscience de soi. Par conséquent, les experts de l'intelligence artificielle est nécessaire de doter la machine de la capacité de prendre des décisions, et non sur la base de stéréotypes et les idées préconçues».

La solution au problème du langage humain, selon les chercheurs, est l'homme lui-même.

«je Ne peux pas imaginer de nombreux cas où il n'aurait nécessité une personne qui serait en mesure de vérifier, sera-t-il la bonne solution. La personne sera connu tous les cas limites lors de la prise de décision. Par conséquent, les décisions ne sont prises qu'après que, il devient clair qu'ils ne seront biaisés.».

Dans certains milieux est maintenant très vivement aborde le thème de l'idée que les robots seront bientôt en mesure de prélever nos emplois. Lorsque nous recevons l'IA, capable de travailler pour nous, il nous faut inventer de nouveaux emplois pour les gens qui vont mener la vérification des prises IA solutions, pour ceux à dieu ne plaise pas commis du point de vue de biais, qu'ils ont encore une fois appris de nous-mêmes. Prendre au moins un chat bots. Même s'ils deviennent complètement autonomes, de leur originel de la création d'engager des gens dotés de leurs propres préjugés et les stéréotypes. Donc, comme stéréotypées des concepts initialement intégrés dans le concept de la langue elle-même, pour le choix de la bonne solution il faudrait encore les gens, quelles que soient les avancées de l'IA du système.

Dans un article publié récemment un article dans la revue Science принстонские, les scientifiques disent que cette situation peut avoir de graves et de grande envergure à l'avenir.

«Nos conclusions certainement encore gonflé de sa réflexion lors de la discussion de l'hypothèse de Сепира — Уорфа. Notre travail montre que le comportement peut se former sur la base historiquement les normes culturelles. Et, dans chaque cas, il peut être différent, parce que chaque culture possède sa propre histoire».

Dans le relativement récent dans la science-fiction le film «l'Arrivée», la plus affectée par l'idée de l'hypothèse Сепира — Уорфа, selon laquelle la structure de la langue influe sur la perception du monde et les croyances de ses porteurs. Maintenant, grâce aux travaux de Калискан et ses collègues, nous avons un algorithme, confirmant cette hypothèse. Au moins en ce qui concerne les stéréotypes et les préjugés sociaux concepts.

Les Chercheurs veulent continuer leur travail, mais cette fois de se concentrer sur d'autres secteurs, et de chercher ne sont pas encore étudiés stéréotypées des signes dans la langue. Peut-être, l'objet d'études serviront de modèles créés par de fausses nouvelles dans les MÉDIAS, ou stéréotypées de la notion dans certaines субкультурах ou des cultures géographiques. En outre, la possibilité de l'étude d'autres langues, où les concepts peuvent être intégrés dans la langue n'est pas, comme ils sont intégrés en anglais.

Supposons que, dans l'avenir dans une culture ou d'un lieu géographique commence à se manifester rigide et stéréotypée de la pensée. Au lieu d'enquêter et de vérifier chaque facteur humain, ce qui peut prendre beaucoup de temps, d'argent et d'efforts, vous pouvez simplement procéder à une analyse des données de texte d'un seul groupe de personnes et sur la base de ce savoir – est-une-discours sur le standard de la perception ou non. Cela vous aidera à économiser à la fois les coûts et le temps», — se montent les chercheurs.