Потрібно розкрити «чорний ящик» штучного інтелекту, поки не стане занадто пізно

протягом кількох років у 1980-х роках абітурієнтів Медичної школи лікарні Святого Георгія в Лондоні відбирали, використовуючи високотехнологічний метод. Комп'ютерна програма, одна з перших у своєму роді, переглядала резюме, вибираючи з усіх заявок близько 2000 кандидатів у рік. Програма аналізувала записи про надходження, вивчаючи характеристики успішних заявників, і коректувалася до тих пір, поки її рішення не збігалися з думкою приймальної комісії.

Однак програма навчилася знаходити більше, ніж хороші оцінки і ознаки академічних досягнень. Через чотири роки після реалізації програми два лікаря в лікарні виявили, що програма, як правило, відкидає жінок-претендентів та осіб з неєвропейськими іменами, незалежно від їх академічних переваг. Лікарі виявили, що близько 60 претендентів кожен рік просто відмовляли у співбесіді з-за їх статі або раси. Програма включала гендерні та расові упередження дані, які використовуються для її навчання — по суті, навчилася тому, що лікарі та іноземці не кращі кандидати в доктори.

Тридцять років потому ми зіткнулися з аналогічною проблемою, але програми з внутрішніми упередженнями тепер ширше поширені і приймають рішення з ще більш високими ставками. Алгоритми штучного інтелекту, засновані на машинному навчанні, використовуються всюди, починаючи з урядових установ і закінчуючи сферою охорони здоров'я, приймаючи рішення і роблячи прогнози, засновані на історичних даних. Вивчаючи закономірності в даних, вони також поглинають і упередження в них. Google, наприклад, показує більше реклами низькооплачуваної роботи жінкам, ніж чоловікам; одноденна доставка Amazon мине негритянські квартали, а цифрові камери насилу розпізнають обличчя не білого кольору.

Важко зрозуміти, чи є алгоритм упередженим або справедливим, і так вважають навіть комп'ютерні експерти. Одна з причин полягає в тому, що деталі створення алгоритму часто вважаються запатентованої інформацією, тому їх ретельно охороняють власники. У більш складних випадках алгоритми настільки складні, що навіть творці не знають точно, як вони працюють. Це проблема так званого «чорного ящика» ШІ — нашої нездатності побачити внутрішню частину алгоритму і зрозуміти, як він приходить до рішення. Якщо залишити його замкненим, наше суспільство може серйозно постраждати: в цифровому середовищі реалізуються історичні дискримінації, з якими ми боролися багато років, від рабства і кріпацтва до дискримінації жінок.

Ці занепокоєння, озвучені в невеликих спільнотах інформатиків раніше, тепер набирають серйозний оборот. За останні два роки в цій області з'явилося досить багато публікацій про прозорість штучного інтелекту. Разом з цією обізнаністю зростає і відчуття відповідальності. «Чи можуть бути які-небудь речі, які нам не варто будувати?», задається питанням Кейт Кроуфорд, дослідник Microsoft і співзасновник AI Now Insitute в Нью-Йорку.

«Машинне навчання нарешті вийшло на передній план. Тепер ми намагаємося використовувати його для сотень різних завдань в реальному світі», говорить Річ Каруана, старший науковий співробітник Microsoft. «Цілком можливо, що люди зможуть розгорнути шкідливі алгоритми, які значно вплинуть на суспільство в довгостроковій перспективі. Тепер, схоже, раптово всі зрозуміли, що це важлива голова в нашій області».

Самовільне алгоритм

Ми давно використовуємо алгоритми, але проблема чорного ящика не має прецедентів. Перші алгоритми були простими і прозорими. Багато хто з них ми досі використовуємо — наприклад, для оцінки кредитоспроможності. При кожному новому використанні в справу вступає регулювання.

«Люди використовували алгоритми для оцінки кредитоспроможності протягом десятиліть, але в цих областях були досить сильні врегулювання, які зростали паралельно з використанням предиктивных алгоритмів», говорить Каруана. Правила регулювання гарантують, що алгоритми прогнозування дають пояснення кожному балу: вам було відмовлено, тому що у вас великий кредит або занадто низький дохід.

В інших областях, таких як правова система і реклама, відсутні правила, що забороняють використання завідомо непросчітиваемих алгоритмів. Ви можете не знати, чому вам відмовили в позику або не взяли на роботу, тому що ніхто не примушує власника алгоритму пояснювати, як це працює. «Але ми знаємо, що оскільки алгоритми навчаються на даних реального світу, вони повинні бути упередженими — тому що реальний світ упереджений», говорить Каруана.

Розглянемо, наприклад, мова — один з найочевидніших джерел упередженості. Алгоритми навчаються на написаному тексті, вони формують певні асоціації між словами, які з'являються разом частіше. Наприклад, вони вчаться тому, що «для чоловіка бути комп'ютерним програмістом — це те ж, що для жінки бути домогосподаркою». Коли цього алгоритму доручать знайти відповідне резюме для роботи програмістом, найімовірніше, він вибере серед чоловіків-кандидатів.

Подібні проблеми досить легко виправити, але багато компаній на це просто не підуть. Замість цього вони будуть приховувати подібні невідповідності за щитом захищеної інформації. Без доступу до деталей роботи алгоритму, експерти у багатьох випадках не зможуть визначити, чи є упередження чи ні.

Оскільки ці алгоритми є секретними і залишаються поза юрисдикції регулюючих органів, громадянам практично неможливозасудити творців алгоритмів. У 2016 році вищий суд штату Вісконсін відхилив прохання людини розглянути внутрішню роботу COMPAS. Чоловік, Ерік Луміс, був засуджений до шести років тюремного ув'язнення почасти тому, що COMPAS вважав його «високоризикових». Луміс каже, що його право на належну процедуру було порушено залежністю судді від непрозорого алгоритму. Остаточна заявка на розгляд справи у Верховному суді США зазнала невдачі в червні 2017 року.

Але потайливі компанії не будуть користуватися своєю свободою протягом необмеженого часу. До березня Євросоюз прийме закони, які вимагають від компаній можливості пояснити зацікавленим клієнтам, як працюють їхні алгоритми і як приймають рішення. У США немає такого законодавства в розробці.

Криміналістика чорного ящика

Незалежно від того, будуть чи регулюючі органи залучені у все це, культурний зсув в тому, як розробляються і розгортаються алгоритми, може зменшити поширеність необ'єктивних алгоритмів. Оскільки все більше компаній і програмістів зобов'язуються робити свої алгоритми прозорими і зрозумілими, деякі сподіваються, що компанії, які цього не зроблять, втратять хорошу репутацію в очах громадськості.

Зростання обчислювальної потужності дозволив створити алгоритми, які є точними і зрозумілими — технічну задачу розробники не могли подолати історично. Останні дослідження показують, що можна створювати зрозумілі моделі, які передбачають рецидив кримінальних суб'єктів так само точно, як чорний ящик криміналістів начебто COMPAS.

«Все готово — ми знаємо, як створювати моделі без чорних скриньок», говорить Сінтія Рудін, доцент інформатики та електротехніки в Університеті Дьюка. «Але не так-то просто привернути увагу людей до цієї роботи. Якщо урядові агентства перестануть платити за моделі чорного ящика, це б допомогло. Якщо судді відмовляться використовувати моделі чорного ящика для винесення вироку, це теж допоможе».

Інші працюють над тим, щоб придумати способи перевірки справедливості алгоритмів, створивши систему перевірок і балансировок до того, як алгоритм буде випущений в світ, подібно до того як проходить випробування кожен новий препарат.

«Зараз моделі робляться і розгортаються надто швидко. Не проводиться перевірок до випуску алгоритму у світ», говорить Сара Тан з Корнеллського університету.

В ідеалі розробники повинні відкидати відомі упередженості — наприклад, за статтю, віком і раси — і запускати внутрішні симуляції для перевірки своїх алгоритмів на наявність інших проблем.

Тим часом, перш ніж дійти до точки, коли всі алгоритми будуть ретельно тестуватися до випуску, вже є можливість визначати, які з них будуть страждати від упередженості.

У своїй останній роботі Тан, Каруана і їх колеги описали новий спосіб зрозуміти, що може відбуватися під капотом алгоритмів чорного ящика. Вчені створили модель, яка імітує алгоритм чорного ящика, навчаючись оцінювати ризик рецидивизма за даними COMPAS. Також вони створили іншу модель, яка навчалася за даними реального світу, які показують, чи дійсно відбувався передбачений рецидивізму. Порівняння двох моделей дозволило вченим оцінити точність прогнозованого бали, не аналізуючи алгоритм. Відмінності в результатах двох моделей можуть показати, які змінні, такі як раса чи вік, можуть бути більш важливими в тій чи іншій моделі. Їх результати показали, що COMPAS упереджено відноситься до чорних людям.

Правильно побудовані алгоритми можуть усунути давно усталені упередження в галузі кримінального правосуддя, поліцейської діяльності та багатьох інших сферах суспільства.