Чому ШІ, засуджує злочинців, — це небезпечно?

Штучний інтелект вже в деякому роді допомагає визначитися вашому майбутньому. Коли ви шукаєте що-небудь в пошуковику, користуєтеся сервісом зразок Netflix або банк оцінює вашу придатність для іпотеки. Але що буде, якщо штучного інтелекту доведеться визначати, винні ви чи ні, в суді? Як не дивно, в окремих країнах це вже, можливо, відбувається. Нещодавно американського суддю високого Джона Робертса запитали, чи може він уявити день, коли «розумні машини, керовані штучним інтелектом, будуть допомагати в пошуку доказів або навіть в ухваленні судових рішень». Він відповів: «Цей день настав, і він суттєво допомагає судовим органам у провадженні справ».

Можливо, Робертс мав на увазі недавній випадок Еріка Луміса, якого засудили до шести років ув'язнення за рекомендацією секретного пропрієтарного програмного забезпечення приватної компанії. Луміс, який вже мав кримінальну історію і був засуджений за те, що втік з поліції на викраденій машині, тепер стверджує, що його право на процедуру було порушено, оскільки ні він, ні його представники не змогли розглянути або опротестувати алгоритм рекомендації.

Звіт був підготовлений програмою Compas, яка продається Notrpointe судам. Програма втілює нову тенденцію в дослідженнях ІІ: допомагає суддям прийняти «краще» (або принаймні більш орієнтоване на дані) рішення в суді.

Хоча конкретні подробиці справи Луміса залишаються закритими, в ньому напевно містяться діаграми і числа, що визначають життя, поведінку і вірогідність рецидиву Луміса. Серед них вік, раса, гендерна ідентичність, звички, історія браузера і які-небудь вимірювання черепа. Точніше ніхто не знає.

Відомо, що прокурор у справі сказав судді, що Луміс продемонстрував високий ризик рецидивизма, насильства, досудового розгляду». Це стандартно, коли справа стосується винесення вироку. Суддя погодився і сказав Лумису, що «за оцінкою Compas він був визначений як особа, що представляє високий ризик для суспільства».

Верховний суд штату Вісконсін засудив Луміса, додавши, що звіт Compas привніс цінну інформацію в його рішення, але зазначив, що без нього він виніс такий вирок. Перевірити це, напевно, зрозуміло, не вийде. Якими можуть бути когнітивні упередження, коли в справі бере участь всемогутня «розумна» система зразок Compas, яка радить суддям, як їм поступати?

Невідоме використання

Давайте будемо відверті, немає нічого незаконного в тому, що зробив суд Вісконсіна — це просто приклад. Інші суди можуть і будуть робити те ж саме.

На жаль, ми не знаємо, якою мірою використовуються ІЇ та інші алгоритми при винесенні вироку. Є думка, що деякі суди «тестують» системи на зразок Compas в закритих дослідженнях, але не можуть заявляти про своє партнерство. Є також думка, що кілька стартапів ІІ розробляють подібні розумні системи.

Проте використання ІІ в законодавстві не починається і не закінчується винесенням вироку, воно починається з розслідування. У Великобританії вже розроблена система VALCRI, яка виконує трудомісткі аналітичні роботи за лічені секунди — пробирається крізь тонни даних зразок текстів, лабораторних звітів і поліцейських документів, щоб виділити речі, які можуть вимагати подальшого розслідування.

Поліція Уест-Мідландс у Великобританії , використовуючи анонімні дані, що містять більше 6,5 мільйона записів. Схоже випробування проводиться поліцією Антверпена в Бельгії. Однак у минулому проекти ІІ і глибокого навчання, що включають масивні набори даних, що були проблемними.

Вигоди для небагатьох

Технології забезпечили безліч корисних пристосувань залах суду, від копіювальних апаратів до вилучення ДНК з відбитків пальців і складних методів спостереження. Але це не означає, що будь-яка технологія — це поліпшення.

Хоча використання ІІ в розслідуваннях і вироках потенційно може заощадити час і гроші, воно породить гострі проблеми. У доповіді за Compas від ProPublica було чітко сказано, що чорних програма помилково вважає більш схильними до рецидивизму відповідачами, ніж білих. Навіть самі складні системи ШІ можуть успадкувати расові та гендерні упередження тих, хто їх створює.

Більше того, який сенс перекладати прийняття рішень (принаймні частково) з питань, які унікальні для людей, на алгоритм? У США існує певна складність, коли суд присяжних судить своїх однолітків. Стандарти в законах ніколи не були еталонними, бо ці суди присяжних вважаються найбільш демократичними та ефективними системами засудження. Ми робимо помилки, але з часом накопичуємо знання про те, як їх не робити, уточнюючи систему.

Compas і подібні їй системи представляють «чорний ящик» в правовій системі. Таких бути не повинно. Правові системи залежать від безперервності, прозорості інформації та здібності до розгляду. Суспільство не хоче появи системи, яка заохочує гонку з створенням стартапів ШІ, які роблять швидкі, дешеві та ексклюзивні рішення. Наспіх зроблений ІІ буде жахливим.

Оновлена версія Compas з відкритим вихідним кодом була б поліпшенням. Але спершу доведеться підняти стандарти системи правосуддя, перш ніж ми почнемо знімати відповідальність користь алгоритмів.