Du trenger å åpne den "svarte boksen" kunstig intelligens, før det er for sent

For flere år på 1980-tallet av studentene på medisinstudiet av St George ' s hospital i London ble valgt ved hjelp av high-tech metode. Et dataprogram, en av de første av sitt slag, og se gjennom cver, ved å velge fra alle programmer på rundt 2.000 kandidater per år. Programmet analysert registreringer av kvitteringer, ved å studere egenskapene til vellykket søkere, og justert til, før sin løsning ikke sammenfaller med uttalelse fra utvalg.

Men, programmet har lært å finne mer enn gode karakterer og faglige prestasjoner. Fire år etter gjennomføring av to leger på sykehuset fant at programmet vanligvis avviser kvinner kandidater og personer med ikke-Europeisk navn, uavhengig av deres faglige kvalifikasjoner. Legene fant at om lag 60 søkere hvert år, var bare nektes et jobbintervju på grunn av sitt kjønn eller rase. Programmet inkluderte kjønn og rase skjevheter i dataene brukes til trening — faktisk har lært at leger og utlendinger er ikke de beste kandidatene for legen.

Tretti år senere, blir vi møtt med et lignende problem, men med den interne fordommer er nå distribuert og ta beslutninger med enda høyere stakes. Kunstig intelligens algoritmer basert på machine learning brukes overalt, fra og med statlige institusjoner til helsetjenester, ta beslutninger og å gjøre spådommer basert på historiske data. Å studere mønstre i dataene, de også absorberer og fordommer i dem. Google, for eksempel, viser flere reklame-betalt yrkesaktive kvinner enn menn; en-dagers frakt, Amazon vil passere Negro kvartal, og et digitalt kamera er vanskelig å gjenkjenne ansikter er ikke hvit.

Det er Vanskelig å forstå om algoritmen er partisk eller rettferdig, og så vurdere selv dataeksperter. En av grunnene er at det detaljer av den nye algoritmen er ofte ansett for å være patentert informasjon, så nøye overvåket av sine eiere. I mer komplekse saker, algoritmer er så komplisert at selv skaperne vet ikke nøyaktig hvordan de fungerer. Dette problemet er den såkalte "black box" AI — vår manglende evne til å se den indre delen av algoritmen og forstå hvordan han kommer til en avgjørelse. Hvis du lar den være låst, vårt samfunn kan bli alvorlig berørt: i det digitale miljøet er implementert historiske diskriminering som vi kjempet for i mange år, fra slaveri og livegenskap til diskriminering mot kvinner.

Disse gjelder, stemt i små samfunn av informatikk tidligere, er nå stadig mer alvorlig vending. I løpet av de siste to år i dette området var det ganske mange publikasjoner om åpenhet om kunstig intelligens. Sammen med denne voksende bevissthet og ansvarsfølelse. "Kan du være noen ting som vi ikke skal bygge?", ber Kate Crawford, forsker ved Microsoft og co-grunnlegger av AI Nå Insitute i new York.

"maskinlæring endelig kom til syne. Nå prøver vi å bruke det for hundrevis av forskjellige oppgaver i den virkelige verden," sa rik Caruana, seniorforsker, Microsoft. "Det er mulig at folk vil være i stand til å distribuere skadelig algoritmer som vil påvirke samfunnet på lang sikt. Nå, det virker, plutselig forsto hun at dette var et viktig Kapittel i vår region".

Uautorisert algoritme

Vi har vært ved hjelp av algoritmer, men problemet med den svarte boksen har ingen presedens. Den første algoritmer var enkel og oversiktlig. Mange av dem vi er fortsatt i bruk, for eksempel for å vurdere kredittverdighet. Med hver ny bruker kommer regulering.

"Folk brukte algoritmer for å vurdere kredittverdigheten i flere tiår, men i disse områdene var ganske sterk oppgjør, som vokste i takt med bruk av logisk algoritmer," Caruana sa. Forskrifter sikre at prediksjon algoritmer gi en forklaring til hvert punkt: du ble nektet fordi du har store kredittkort, eller for lave inntekter.

I andre områder, slik som juridiske og reklame, det er ingen regler som forbyr bruk av bevisst neproschityvaemym algoritmer. Du vet kanskje ikke hvorfor du har blitt nektet et lån eller ikke får jobben fordi ingen tvinger eieren av algoritmen for å forklare hvordan det fungerer. "Men vi vet at fordi algoritmene er trent på reelle data, de må være partisk — fordi den virkelige verden er partisk, sier Caruana.

Tenk, for eksempel, språket er en av de mest åpenbare kilder til skjevhet. Når algoritmer er trent på skriftlig tekst, de dannet noen assosiasjoner mellom ord som vises sammen oftere. For eksempel, de lærer at "for menn å være en datamaskin programmerer — er den samme som for en kvinne å være husmor." Når denne algoritmen vil instruere å finne en god oppsummering til å fungere som en programmerer, mest sannsynlig, han vil velge menn kandidater.

Slike problemer ganske enkelt å fikse, men mange selskaper er rett og slett ikke kommer. I stedet, de vil skjule disse inkonsekvensene bak skjoldet beskyttet informasjon. Uten tilgang til opplysninger av algoritmen, eksperter i mange tilfeller ikke vil være i stand til å avgjøre bias eller ikke.

Som disse algoritmene er hemmelige og forbli utenfor jurisdiksjonen til myndigheter, borgere er nesten umuligå saksøke skaperne av algoritmer. I 2016, the Supreme court of Wisconsin avvist forespørselen om å se det indre arbeidet i COMPAS. Mann, Eric Loomis, ble dømt til seks år i fengsel, blant annet fordi COMPAS betraktet ham som "høy risiko". Loomis sier at hans rett til på grunn av prosessen ble brutt av en avhengighet dommer av en ugjennomsiktig algoritme. Endelig program for saksbehandlingen i Høyesterett i Usa mislyktes i juni 2017.

Men den hemmelighetsfulle selskapet ikke vil bruke sin frihet for en ubegrenset tid. Av Mars EU vil vedta lover som vil kreve at selskaper mulighet til å forklare interessert kundene hvordan de kan drive sine algoritmer og hvordan beslutninger fattes. USA har ingen slik lovgivning i utvikling.

Etterforskning black box

Uansett om eller ikke regulatorer er involvert i alt dette, et kulturelt skifte i hvordan utviklet og tatt i bruk av algoritmer som kan redusere utbredelsen av partisk algoritmer. Som flere bedrifter og programmerere er forpliktet til å gjøre sine algoritmer gjennomsiktig og forståelig, noe håp om at selskaper som ikke gjør det, vil du miste et godt omdømme i opinionen.

Veksten i datakraft har tillatt oss å lage algoritmer som er både nøyaktig og forståelig — dette teknisk utfordring, utviklerne kunne ikke overvinne historisk. Nyere studier viser at det er mulig å lage forståelige modeller som forutsier tilbakefall til kriminelle motiver samt nøyaktig hvordan den svarte boksen dataanalyse som COMPAS.

"Alt er klart — vi vet hvordan vi skal lage modeller uten svarte boksene, sier Cynthia Rudin, associate Professor of computer science and electrical engineering ved Duke University. "Men det er ikke så lett å trekke folks oppmerksomhet til dette arbeidet. Hvis regjeringen Byrået vil slutte å betale for modellen black box, ville det hjelpe. Hvis dommerne nekter å bruke modeller av en svart boks til doms, vil det også hjelpe."

Andre arbeider med å komme opp med måter å kontrollere gyldigheten av algoritmer, opprette et system av sjekker og balanserer før algoritmen vil bli sluppet ut i verden, akkurat som i testen av hvert nytt legemiddel.

"de modellene som Nå er laget og distribuert for fort. Ikke utføres riktig sjekker før utgivelsen algoritme i lyset, sier Sarah tan av Cornell University.

Ideell, utviklere bør avvise kjent bias, for eksempel etter kjønn, alder og rase, og til å kjøre interne simuleringer for å teste sine algoritmer på andre problemer.

I Mellomtiden, før du når det punktet hvor alle algoritmene vil bli grundig testet før utgivelsen, er evnen til å vurdere hvilke av dem som vil lide av bias.

I hans nyeste verk, tan, Caruana, og deres kolleger har beskrevet en ny måte å forstå hva som kan skje under panseret på en svart boks algoritmer. Forskere har laget en modell som simulerer algoritme av den svarte boksen, lære å vurdere risikoen for tilbakefall i henhold til COMPAS. De har også opprettet en annen modell som ble utdannet på reelle data som viser om eller var spådd tilbakefall. Sammenligning av de to modellene har tillatt forskere å vurdere nøyaktigheten av anslått poeng, uten å analysere algoritmen. Forskjellene i resultatene fra de to modellene kan vise hvilke variabler, som for eksempel rase eller alder, kan bli mer viktig i en bestemt modell. Deres resultater viste at COMPAS partisk mot svarte mennesker.

Godt utviklet algoritmer kan eliminere veletablert fordommer innen strafferett, politi og mange andre områder i samfunnet.