Trzeba otworzyć "czarna skrzynka" sztucznej inteligencji, dopóki nie będzie za późno

Przez kilka lat w 1980 roku studentów szkoły Medycznej szpitala Świętego Jerzego w Londynie odbierali, wykorzystując zaawansowany technologicznie metoda. Program komputerowy, jedna z pierwszych w swoim rodzaju, zobaczyć cv, wybierając spośród wszystkich zgłoszeń około 2000 kandydatów na rok. Program analizował wpisów o nowościach, badając cechy udanych wnioskodawców, i w odpowiednich dostosowań do momentu jej rozwiązania nie zgadzają się z opinią komisji rekrutacyjnej.

Jednak program nauczyła się znajdować więcej niż dobre oceny i oznaki akademickich. Cztery lata po realizacji programu dwa lekarza w szpitalu okazało się, że program jest zazwyczaj odrzuca kobiet-kandydatów i osób z неевропейскими nazwiskami, niezależnie od ich akademickich zalet. Lekarze stwierdzili, że około 60 kandydatów każdego roku po prostu odmawiali w rozmowie kwalifikacyjnej z powodu ich płci lub rasy. Program obejmował płci i rasowe uprzedzenia w dane użyte do jej nauki — w istocie, nauczyłam się tego, że lekarze i cudzoziemcy nie najlepsi kandydaci w doktora.

Trzydzieści lat później mamy do czynienia z podobnym problemem, ale programy z wewnętrznymi uprzedzeniami teraz szerzej rozpowszechnione i podejmują decyzje z wysokimi stawkami. Algorytmy sztucznej inteligencji, oparte na maszynowym uczeniu się, są używane wszędzie, od agencji rządowych, a kończąc sferą zdrowia, podejmowania decyzji i dokonywania prognozy, oparte na danych historycznych. Analizując prawidłowości w danych, są one również pochłaniają i uprzedzeń w nich. Google, na przykład, pokazuje więcej reklam poniżające pracy kobietom, niż mężczyznom; jednodniowa dostawa Amazon ominie murzyńskich dzielnic, a aparaty cyfrowe z trudem rozpoznają osoby nie biały.

Trudno jest zrozumieć, czy łódź tendencyjne lub sprawiedliwe, i tak uważają nawet gry komputerowe, eksperci. Jednym z powodów jest to, że szczegóły tworzenia algorytmu jest często uważane za opatentowanej informacji, dlatego starannie strzegą właściciele. W bardziej skomplikowanych przypadkach algorytmy są tak skomplikowane, że nawet twórcy nie wiedzą dokładnie, jak one działają. Jest to problem tak zwanej "czarnej skrzynki" AI — naszej niezdolności zobaczyć wewnętrzną część algorytmu i zrozumieć, jak on przychodzi do rozwiązania. Jeśli zostawić go zamknięty, nasze społeczeństwo może poważnie ucierpieć: w środowisku cyfrowym realizowane są historyczne dyskryminacji, z którymi walczyli wiele lat, od niewoli i крепостничества do dyskryminacji kobiet.

Te niepokoju, sformułowanych w małych społecznościach informatyków wcześniej, teraz przybierają poważny obrót. W ciągu ostatnich dwóch lat w tej dziedzinie pojawiło się sporo publikacji na temat przejrzystości sztucznej inteligencji. Wraz z tą świadomością, rośnie poczucie odpowiedzialności. "Czy mogą być jakieś rzeczy, które nam nie warto budować?", zastanawia się Kate Crawford, badacz w programie Microsoft i współzałożyciel AI Now Institute w Nowym Jorku.

"usługa uczenie Maszynowe w końcu wyszło na wierzch. Teraz staramy się go używać do setek różnych zadań w rzeczywistym świecie", mówi Rich Каруана, starszy pracownik naukowy Microsoft. "Jest możliwe, że ludzie będą mogli rozwinąć malware algorytmy, które znacznie wpływają na społeczeństwo w dłuższej perspektywie. Teraz, wygląda na to, że nagle wszyscy zdali sobie sprawę, że jest to ważny rozdział w naszej okolicy".

Samowolne łódź

Od dawna stosujemy algorytmy, ale problem czarnej skrzynki nie ma precedensów. Pierwsze algorytmy były proste i przejrzyste. Wiele z nich do tej pory używamy na przykład do oceny zdolności kredytowej. Przy każdym nowym korzystania w przypadku wejścia rozporządzenia.

"Ludzie używali algorytmów do oceny zdolności kredytowej przez dziesięciolecia, ale w tych dziedzinach były dość silne uregulowania, które rosły równolegle z wykorzystaniem предиктивных algorytmów", mówi Каруана. Przepisy gwarantują, że algorytmy przewidywania dają wyjaśnienie każdemu punkt: odmówiono, bo masz duży kredyt lub zbyt niski dochód.

W innych dziedzinach, takich jak system prawny i reklama, brak zasady zakazujące używania notorycznie непросчитываемых algorytmów. Możesz nie wiedzieć, dlaczego ci odmówiono kredytu lub nie podjęli pracę, bo nikt nie zmusza właściciela algorytmu wyjaśnić, jak to działa. "Ale wiemy, że ponieważ algorytmy uczą się na danych ze świata rzeczywistego, muszą być tendencyjne — bo prawdziwy świat jest stronniczy", mówi Каруана.

Rozważmy, na przykład, język — jeden z najbardziej oczywistych źródeł uprzedzeń. Gdy algorytmy są szkoleni w napisanym tekście, są formowane niektóre skojarzenia między słowami, które pojawiają się wraz częściej. Na przykład, uczą się tego, że "dla mężczyzny być programistą komputerowym — jest to to samo, co dla kobiety być gospodynią domową". Gdy tego algorytmu pobieramy znaleźć odpowiednie cv do pracy programista, prawdopodobnie wybierze wśród mężczyzn-kandydatów.

Podobne problemy dość łatwo naprawić, ale wiele firm na to nie pójdą. Zamiast tego będą ukrywać podobne rozbieżności za tarczą chronionej informacji. Bez dostępu do danych pracy algorytmu, eksperci w wielu przypadkach nie będą w stanie ustalić, uprzedzenie, czy nie.

Ponieważ algorytmy te są tajne i pozostają poza jurysdykcją władz, obywateli praktycznie niemożliwepozwać twórców algorytmów. W 2016 roku sąd najwyższy Wisconsin odrzucił wniosek osoby wziąć pod uwagę wewnętrzną pracę COMPAS. Mężczyzna, Eric Loomis, został skazany na sześć lat więzienia częściowo dlatego, że COMPAS uznał go "высокорисковым". Loomis mówi, że jego prawo do właściwej procedury zostało naruszone uzależnieniem sędziego od nieprzezroczystego algorytmu. Ostateczna wniosek o rozpoznanie sprawy w sądzie Najwyższym USA poniosła porażkę w czerwcu 2017 roku.

Ale skrada się firmy nie będą cieszyć się wolnością na czas nieokreślony. Do marca Unia europejska przyjęła przepisy, które wymagają od firm możliwości wyjaśnić zainteresowanym klientom, jak działają algorytmy i jak podejmują decyzje. USA nie ma takiego prawa w rozwoju.

Kryminalistyki czarnej skrzynki

Niezależnie od tego, czy organy regulacyjne zaangażowane w to wszystko, zmiana kulturowa w tym, jak powstają i są wdrażane algorytmy, może zmniejszyć częstość występowania необъективных algorytmów. Ponieważ coraz więcej firm i programistów zobowiązują się robić swoje algorytmy przejrzyste i объяснимыми, niektórzy mają nadzieję, że firmy, które tego nie zrobią, stracą dobrą reputację w oczach opinii publicznej.

Wzrost mocy obliczeniowej pozwolił stworzyć algorytmy, które są i dokładne, i объяснимыми — to techniczne zadanie twórcy nie mogli pokonać historycznie. Najnowsze badania pokazują, że można tworzyć wyjaśnienia modele, które przepowiadają nawrót kryminalnych podmiotów, dokładnie tak, jak czarna skrzynka techników jak COMPAS.

"Wszystko jest gotowe — wiemy, jak tworzyć modele bez czarnych skrzynek", mówi Cynthia Rudin, profesor informatyki i elektrotechniki na Uniwersytecie Duke ' a. "Ale nie tak łatwo przyciągnąć uwagę ludzi do tej pracy. Jeśli rządowe agencje przestaną płacić za model czarnej skrzynki, to by pomogło. Jeśli sędziowie nie zechce użyć modelu czarnej skrzynki do wyroku, to też pomoże".

Inni pracują nad tym, aby wymyślić sposoby sprawdzania sprawiedliwości algorytmów, tworząc system kontroli i балансировок do tego, jak łódź będzie wydany w świat, podobnie jak przebiega test każdy nowy lek.

"Teraz modele są wykonywane i wdrażane zbyt szybko. Nie odbywa się odpowiednich kontroli do produkcji algorytmu w światło", mówi Sarah Tan z Корнеллского uniwersytetu.

Najlepiej deweloperzy muszą отметать znane uprzedzeń — na przykład, według płci, wieku i rasy — i uruchomić wewnętrzne symulacji w celu sprawdzenia swoich algorytmów pod kątem innych problemów.

Tymczasem, zanim dojść do punktu, kiedy wszystkie algorytmy są dokładnie testowane przed wydaniem, już istnieje możliwość określenia, które z nich będą cierpieć z powodu uprzedzeń.

W swojej najnowszej pracy, Tan, Каруана i ich koledzy opisali nowy sposób zrozumieć, co może się dziać pod maską algorytmów czarnej skrzynki. Naukowcy stworzyli model, który symuluje łódź czarnej skrzynki, ucząc się, jak oceniać ryzyko рецидивизма według COMPAS. Również stworzyli inny model, który studiował według rzeczywistego świata, które pokazują, czy rzeczywiście pochodził przewidywaną рецидивизм. Porównanie dwóch modeli pozwoliło naukowcom ocenić dokładność projekcji punkty, nie analizując łódź. Różnice w wynikach dwóch modeli mogą pokazać, jakie zmienne, takie jak rasa czy wiek, mogą być bardziej istotne w danym modelu. Ich wyniki wykazały, że COMPAS tendencyjne odnosi się do czarnych ludzi.

Właściwie skonstruowane algorytmy mogą rozwiązać od dawna zakorzenione uprzedzenia w dziedzinie wymiaru sprawiedliwości, policji działalności i wielu innych dziedzinach życia społeczeństwa.