Açmak için gerekli olan «kara kutu» yapay zeka, çok geç olana kadar

Birkaç yıldır, 1980'li yıllarda girenler Tıp fakültesi hastanesi, St George's Londra seçildi kullanarak yüksek teknoloji yöntemi. Bir bilgisayar programı, bir ilk türünün, ... ... cv seçerek, tüm uygulamaların sırasını 2000 aday bir yıl. Program анализировала kayıtları, gelir, eğitim özellikleri başarılı olan adaylar, ve arındırılmış bir sürece çözüm için değil, aynı görüşü kabul komitesi.

Ancak, program bulmak öğrendim daha iyi değerlendirmek ve bulguları akademik başarıları. Dört yıl sonra, programın uygulanması için iki doktor hastanede bulundu program genellikle reddeder, kadın adaylar ve kişiler ile неевропейскими adları ne olursa olsun kendi akademik olan. Doktorlar, yaklaşık 60 aday, her yıl sadece reddetti röportaj nedeniyle, cinsiyet ya da ırk. Program, dahil, cinsiyet ve ırksal önyargı verileri için kullanılan öğrenme — aslında, öğrendim, aynı zamanda, doktorlar ve yabancılar, en iyi adayları doktor.

Otuz yıl sonra karşılaştığımız benzer bir sorun, ama bir program ile iç предубеждениями şimdi daha geniş, yaygın ve kararlar ile daha yüksek oranları. Yapay zeka algoritmaları, temel makine öğrenme, kullanılan her yerde ile başlayan devlet kurumları ve biten küre sağlık, karar alma ve tahminler yaparak, tarihi verilere dayanarak. Eğitim veri desenleri, onlar da emer ve önyargıları onları. Google, örneğin, gösterir, daha fazla reklam, düşük ücretli çalışma kadınlar için daha erkekler için; günlük oda Amazon geçmesine zenci mahalleleri ve dijital kameralar ile pek tanımaz bir kişi değil, beyaz.

Zor olup olmadığını anlamak için algoritma önyargılı ya da adil, ve çok inanıyorum hatta bilgisayar uzmanları. Nedenlerinden biri olmasıdır ayrıntıları algoritma oluşturmak genellikle kabul edilen patentli bir bilgi, bu yüzden onları özenle korumak, sahipleri. Daha karmaşık durumlarda, algoritmaları çok karmaşık, hatta yaratıcıları tam olarak bilmiyorum, nasıl çalışır. Bu sorun, sözde «kara kutu» AI — bizim yetersizlik içini görmek için bir algoritma ve anlamak gibi geliyor ele. Eğer bırakın kilitli, toplumumuzun ciddi etkilenebilir: dijital ortamda uygulanan tarihsel ayrımcılık, kiminle savaştık yıllar, kölelik ve крепостничества kadar ayrımcılık kadınlar.

Bu endişe, sesli, küçük topluluklar информатиков daha önce, şimdi kazanmaktadır ciddi bir ciro. Son iki yılda bu alanda ortaya oldukça çok yayın hakkında şeffaflık yapay zeka. İle birlikte, bu farkındalık artıyor ve sorumluluk duygusu. «Olabilir mi bazı şeyler bize inşa etmek için gerekli değildir?», merak Kate Crawford, araştırmacı, Microsoft ve kurucularından Aİ Now İnsitute New York'ta.

«Makine öğrenme nihayet çıktı ön plana. Şimdi kullanmaya çalışıyoruz onun için yüzlerce farklı görev gerçek dünya», diyor Rich Каруана, kıdemli araştırmacı, Microsoft. «Bu mümkün, insanların dağıtmak için kötü amaçlı algoritmalar önemli ölçüde etkileyecek bir toplum uzun vadede. Şimdi, görünüşe göre, aniden anlaşıldı, bu önemli bir bölüm bizim bölgede».

keyfi davrandığımı algoritması

Biz uzun zamandır kullanıyoruz algoritmaları, ama sorun kara kutu vardır emsal. İlk algoritmaları basit ve şeffaf. Birçoğu biz hala kullanıyoruz, örneğin, kredi değerlendirmesi için. Her yeni kullanımı halinde devreye girer düzenlenmesi.

«İnsanlar için kullanılan algoritmalar için kredi değerlendirmesi, yıllardır, ama bu alanlarda oldukça güçlü bir yerleşim büyüdü kullanımı ile paralel предиктивных algoritmaları», diyor Каруана. Kuralları düzenleyen garanti algoritmaları tahmin vermek için bir açıklama, her ballou: verilmedi, çünkü büyük bir kredi ya da çok düşük bir gelir.

Gibi diğer alanlarda hukuk sistemi ve reklam, eksik kurallarını, kullanımını yasaklayan bilerek непросчитываемых algoritmaları. Sen-ebilmek değil bilmek neden reddedildi kredi veya iş almış, çünkü kimsenin sahibi algoritmasını açıklamak için, bu gibi çalışır. «Ama biz biliyoruz, çünkü algoritmalar için kayıtlı veri gerçek dünya, onlar-meli var olmak önyargılı çünkü gerçek dünya önyargılı oluyor» diyor Каруана.

örneğin, dil — en belirgin kaynakları önyargı. Algoritmalar eğitim üzerine yazılmış bir metin olarak, onlar kalıp bazı kelimeler arasındaki ilişkileri görünür sık birlikte. Örneğin, öğrendikleri aynı zamanda «erkek olmak bilgisayar programcısı olarak — bu aynı olmak, bir kadın için ev kadını». Ne zaman bu algoritma şarj bulmak için uygun bir özgeçmiş için iş programcı, büyük bir olasılıkla, o seçer, erkekler arasında aday.

Bu Tür sorunları düzeltmek için oldukça kolaydır, ancak birçok şirketin sadece gitmeyecek. Bunun yerine, onlar gizlemek için bu tür tutarsızlıklar için kalkan güvenli bilgi. Erişim olmadan detay çalışması algoritması, uzmanlar, birçok durumda mümkün olmayacaktır belirlemek, önyargı ya da değil.

Çünkü bu algoritmalar gizli ve dışında kaldığından yargı düzenleyici kurumlar, vatandaşlar neredeyse imkansızdava yaratıcıları algoritmaları. 2016 yılında yüksek mahkeme Wisconsin talebini reddetti insan düşünün iç işleyişini COMPAS. Adam, Eric Loomis cezasına çarptırıldı, altı yıl hapis, çünkü kısmen COMPAS düşündüm «высокорисковым». Loomis diyor hakkına uygun bir yordam kırıldı bağımlılığı hakimin yer opak algoritması. Son başvuru yargılama yargıtay'da ABD başarısız oldu haziran 2017.

Ama gizli bir şirket değil kendi özgürlüğünün tadını sınırsız süre. Mart ayında avrupa Birliği kabul etmez, yasaları gerektirir şirketler özelliklerini açıklamak ilgilenen müşterilere nasıl çalıştığını kendi algoritmaları ve nasıl kararlar alırlar. ABD böyle bir mevzuat geliştirmek.

adli tıp blackbox

Olursa Olsun, ister düzenleyici kurumlar dahil, tüm bu kültürel değişim nasıl geliştirilir ve dağıtılır algoritmaları azaltabilir yaygınlığı необъективных algoritmaları. Çünkü daha fazla şirket ve programcılar için taahhüt yapmak için algoritmalar şeffaf ve объяснимыми, bazı umut şirketleri yapacak, sonra iyi bir üne halkın gözünde.

Büyüme işlem gücü oluşturmak için izin algoritmaları vardır ve doğru ve объяснимыми — bu teknik bir görev geliştiriciler olamazdı aşmak için, tarihsel olarak. Son çalışmalar oluşturabilirsiniz объяснимые modeli tahmin nüks suç özneleri olarak kesin bir black box adli tıp gibi COMPAS.

«bitti — biz biliyoruz, nasıl bir model oluşturmak olmadan kara kutusu», diyor Cynthia Rudin, yardımcı doçent, bilgisayar bilimleri ve elektrik mühendisliği, Duke Üniversitesi'nde. «Ama o kadar kolay değil insanların dikkatini çekmek bu işte. Eğer devlet kurumları ödeme durdurmak için bir model kara kutu, bu yardımcı olur. Eğer yargıç reddeder modelleri kullanmak blackbox için ceza, bu da yardımcı olacaktır».

Diğer çalışıyoruz için yollar ile gelip doğrulama adalet algoritmaları oluşturarak sistem denetimleri ve балансировок önce algoritma çıkacak bir dünya gibi aynı test her yeni ilaç.

«Şimdi modeli yapılır ve dağıtılır, çok hızlı. Yapılmaz, uygun denetimler yayımlanmasından önce algoritma ışık,» diyor Sarah Tan Cornell üniversitesi.

Ideal olarak, geliştiriciler gerekir отметать bilinen önyargı, örneğin, cinsiyet, yaş ve ırk ve çalıştırmak iç simülasyonu, doğrulama için kendi algoritmaları varlığı için diğer bir sorun.

Bu arada, daha önce yürüyerek bir noktaya kadar, ne zaman tüm algoritmaları iyice test sürümünden önce, zaten bir tanımlamak için yeteneği, hangilerinin yaşayacaktır önyargı.

Onun son çalışması, Tan, Каруана ve muadilleri tarif için yeni bir yol olduğunu anlamak oluşabilir başlık altında algoritmaları kara kutu. Bilim adamları bir modeli taklit eden bir algoritma kara kutu, öğrenme oranı riski yeniden suç işleme eğilimi göre, COMPAS. Ayrıca onlar yarattı, başka bir model tarafından eğitildi göre gerçek dünya, ortaya, gerçekten mi geldi tahmin рецидивизм. Karşılaştırma iki model sayede bilim adamları doğruluğunu değerlendirmek öngörülen puanı, analiz algoritması. Farklılıklar sonuçlarında iki model göstermek, hangi değişkenler gibi ırk ya da yaş, daha önemli olabilir ya da başka bir model. Sonuçları göstermiştir ki, COMPAS önyargılı ifade eder siyah insanlar.

Düzgün bir şekilde inşa edilmiş algoritmalar ortadan kaldırmak için uzun süredir köklü önyargıları ceza hukuku alanında, polis faaliyetleri ve diğer birçok alanda toplum.