Vetenskapsmän har upptäckt varför AI kan vara rasistiska och sexistiska

Den Misslyckade experiment av Microsoft med sina AI-algoritmen Tay Tay), som inom 24 timmar efter början av interaktion med människor från Twitter har förvandlats till en härdad rasistiska, visade att den nya AI-system kan bli offer för mänskliga fördomar och, i synnerhet, stereotypa tänkande. Varför händer detta – försökt att ta reda på en liten grupp forskare från Princeton University. Och det är intressant att de lyckats. Dessutom har de utvecklat en algoritm som kan förutsäga uttryck för sociala stereotyper på grundval av ett intensivt analys av hur människor kommunicerar på Internet.

Många AI-system ska genomgå sin utbildning i förståelse av det mänskliga språket med hjälp av stora samlingar av text-data. De kallas för kåren. De är en slags web-arkiv kring Internet, som innehåller 840 miljarder olika symboler eller ord. Forskaren Eileen Caliskan och hennes kollegor från Princeton center för it-intresserade – inte den Gemensamma Krypa corpus (en av de mest populära platser för lärande AI), i själva verket skapas av miljontals användare av Internet, stereotypa begrepp, som kunde detekteras med hjälp av en algoritm för datorn. För detta har de använt till mycket icke-standard metod för dolda organisationer (Implicit Association Test, IAT), som används för att studera attityder och stereotyper av människor.

I Allmänhet testet är följande: människor ombeds att dela upp en viss uppsättning av ord i två kategorier. Ju längre en person tänker, i vilken kategori att placera ett visst ord, ju mindre människor förknippar ordet med en viss kategori. I Allmänhet, tester av IAT används för att mäta nivån av stereotyper människor genom associativa strukturera slumpmässig uppsättning av ord med sådana kategorier som kön, ras, fysisk förmåga, ålder och så vidare. Resultatet av dessa tester, som regel, på ett förutsägbart sätt. Till exempel majoriteten av de tillfrågade förknippar ordet kvinna med en term som "familj", medan en hane med begreppet "arbete". Men, det självklara och förutsägbara resultat är bevis på nyttan av IAT-tester som pekar till vår stereotypa tänkande i deras totala vikt. Bland riktiga forskare, naturligtvis, en del debatt om riktigheten av IAT, men de flesta håller med om att dessa tester direkt avspeglar våra attityder.

Använda IAT-tester som en modell, Caliskan och hennes kollegor skapat en algoritm WEAT (Word-Bädda in Association Test), att analysera hela texten fragment för att ta reda på vilka språkliga enheter som är mer nära knutna tillsammans än andra. En del av detta test bygger på Stanford University utvecklat begreppet Handsken (Global Vektorer för Ordet Representation), som beräknar en vektor av semantiska relationer mellan ord, som är, kombinerar relaterade termer. Till exempel, ordet "hund" som presenteras i den semantiska vektor modell, kommer att förknippas med ord som "valp", "hund", "hund", "hund", "hound", och alla andra termer som beskriver de dog. Kärnan i sådana semantiska modeller är inte att beskriva ordet "hund", och hur man beskriver begreppet som en hund. Det är, för att förstå vad det är. Detta är särskilt viktigt när man jobbar med stereotyper, när någon till exempel försöker beskriva begreppet "kvinna" med sådana begrepp som "tjej" eller "mamma". Sådana modeller används i stor utsträckning i datorlingvistik. För att förenkla arbetet för forskare begränsad varje semantiska begrepp och en av de tre hundra vektorer.

För att avgöra hur stark varje begreppet Internet har en Förening med ett annat koncept inom text, algoritmen ser ut från WEAT på många faktorer. På den mest grundläggande nivån, förklarar Caliskan, den algoritm som kontrollerar hur många ord som delas av två individuella koncept (som är, verifierar närheten av deras placering inom test-fältet), men också i redovisning är andra faktorer som frekvensen av användningen av ett ord.

Efter att ha genomfört algoritmiska förändring "närhet" av begrepp i WEAT tas för motsvarande tid, vilket kräver en person att kategorisera begrepp i IAT-test. De längre ifrån varandra är begreppen, de mer avlägsna associativa samband mellan dem är byggd av en mänsklig hjärna. Algoritmen WEAT arbete i detta avseende är att hitta den stereotypa förbindelser, som var också upptäckts inom ramen för tester i IAT.

"Vi egentligen är anpassade IAT-tester för bilar. Och vår analys visade att om du fed AI mänskliga data som innehåller stereotyper, så det är vad han kommer ihåg" — kommentarer Caliskan.

Vad är Mer, denna uppsättning av stereotypa data kommer att påverka hur AI kommer att bete sig i framtiden. Som ett exempel, Caliskan leder vägen algoritmen online översättare Google Translate felaktigt översätter ord till svenska från andra språk, som bygger på stereotyper som han hade lärt sig på grund av kön information. Tänk dig nu att Internet är översvämmad en armé av AI robotar att återge alla våra stereotypa föreställningar om att de är från oss och skriva. Det är framtiden och väntar på oss, om vi på allvar tror att om några av nödvändiga ändringar stereotypa beteendet hos sådana system.

Trots att Caliskan och hennes kollegor fann att Internet språket bokstavligt talaten Orgie av sociala stereotypa föreställningar och fördomar man har också funnit fullständig och korrekt, associativa rader. I ett av testerna, forskarna fann ett starkt samband mellan begreppen "kvinna" och "moderskap". Detta associativ array för att spegla sanningen i den verklighet som moderskap och föräldraskap är verkligen betraktas främst som kvinnors problem.

"språket är en spegelbild av den verkliga världen" — sa Caliskan.

"Beslag av stereotypa begrepp och statistiska fakta om världen runt omkring göra motorn modell mindre exakt. Men återigen, bara att gå och ta bort alla stereotypa begreppen omöjligt, så vi måste lära sig att arbeta med vad du har nu. Vi har medvetande, vi kan fatta rätt beslut i stället för partisk varianter. Maskinen har inget medvetande. Därför experter av artificiell intelligens som är nödvändiga för att förse maskiner med förmågan att fatta beslut, som inte bygger på stereotypa och fördomsfulla åsikter."

Och ändå lösningen till problemet för de mänskliga språket, enligt forskarna, är människan själv.

"jag kan inte tänka mig många fall där den inte behövs skulle vara en person som skulle kunna kolla om det är rätt beslut. Den person som kommer att vara medveten om alla de extrema fallen i antagandet av ett beslut. Därför beslut fattas först efter det att det blir klart att de inte kommer att vara partisk."

I vissa kretsar är det nu livligt diskuterat ämne om att robotar kommer snart att kunna ta bort våra jobb. När kommer vi att få AI som kan fungera för oss, vi måste uppfinna nya arbetstillfällen för människor som kommer att genomföra testet antas AI lösningar till dem Gud förbjude inte har gjort dem från en position av systematiska fel, vilket återigen, de har lärt sig av oss. Ta till exempel chatta robotar. Även om de blir helt oberoende, deras ursprungliga skapelsen kommer att vara att få folk att engagera sig med sina egna fördomar och stereotyper. Därför, som den stereotypa uppfattningar är inbyggd i begreppet språk i sig, att välja rätt lösning, du behöver fortfarande människor, oavsett hur avancerad AI-system kan vara.

I en nyligen publicerad artikel i tidskriften Science, Princeton forskare säger att denna situation kan ha allvarliga och långtgående konsekvenser i framtiden.

"Våra resultat definitivt fortfarande uppblåst återspeglas i diskussionen om hypotesen Sepira — period. Vårt arbete visar att beteendet kan vara baserade på historiska kulturella normer. Och i varje fall kan det vara annorlunda, eftersom varje kultur har sin egen berättelse."

I den nyligen utgivna sci-Fi-filmen "Ankomsten" bara snuddar vid tanken på att hypotesen Sepira — Saxon, enligt vilken strukturen i ett språk påverkar världsbild och tro på sina högtalare. Nu, tack vare det arbete som Caliskan och hennes kollegor, vi har den algoritm som stöder denna hypotes. Åtminstone i relation till kön-fördomsfulla stereotypa sociala begrepp.

Forskare som vill fortsätta sitt arbete, men denna gång för att fokusera på andra områden och att titta har inte studerats stereotypa egenskaper i språket. Kanske syftet med studien kommer att vara mönster som skapats av falska nyheter i media eller stereotypa uppfattningen inom vissa subkulturer eller kulturer med en geografisk referens. Dessutom, möjligheten till studier av andra språk, där stereotypa föreställningar kan vara integrerade i språket, inte hur de är integrerade i engelska.

"Anta att i framtiden i en viss kultur eller en geografisk plats är i början av att visa kraftiga stereotypa tänkande. Istället för att försöka utforska och kontrollera varje enskild mänskliga faktorn, vilket kommer att kräva en hel del tid, pengar och ansträngning, kan du enkelt analysera texten data från en enda grupp av människor, och baserat på detta för att ta reda på – oavsett om vi pratar om den stereotypa uppfattningen eller inte. Detta kommer att avsevärt spara både resurser och tid" — totalt forskare.