Você precisa abrir a "caixa preta" da inteligência artificial, até que seja tarde demais

Ao longo de vários anos, em 1980, para candidatos de escola Médica do hospital St. George, em Londres selecionados, utilizando a técnica da alto-tecnologia. Um programa de computador, um dos primeiros de seu tipo, просматривала resumo, escolhendo a partir de todas as aplicações da ordem de 2000 candidatos no ano. O programa analisou o registro de salário, estudando características candidatos bem sucedidos, e é ajustado até que a sua solução não coincidam com a opinião da comissão.

No Entanto, o programa aprendeu a encontrar mais do que uma boa pontuação e sinais de realizações acadêmicas. Após quatro anos de implementação do programa de dois médicos no hospital descobriram que o programa, como regra geral, rejeita as mulheres-candidatos e de pessoas com não europeus nomes, independentemente do seu mérito acadêmico. Os médicos descobriram que cerca de 60 candidatos a cada ano simplesmente negado em entrevistas de emprego por causa de seu gênero ou raça. O programa incluiu a perspectiva de gênero e raciais, preconceitos com os dados utilizados para a sua formação — na verdade, aprendi que os médicos e os estrangeiros não são os melhores candidatos de doutorado.

Trinta anos depois, estamos confrontados com um problema similar, mas os programas internos preconceitos agora mais larga comuns, e tomar decisões com taxas de juro mais elevadas. Algoritmos de inteligência artificial, baseada na maquinaria de ensino, são utilizados em todo, a partir de instituições governamentais e terminando com a área de saúde, tomar decisões e fazer previsões, com base em dados históricos. Ao estudar os padrões nos dados, eles também absorvem e preconceitos neles. O Google, por exemplo, mostra mais anúncios de trabalho menos remunerados as mulheres do que os homens; o dia de entrega da Amazônia passa негритянские bairros, mas as câmeras digitais com dificuldade reconhecem o rosto não é de cor branca.

é Difícil de entender, é se o algoritmo é tendencioso ou justo, e assim acreditam que até mesmo especialistas em informática. Uma das razões reside no fato de que os detalhes da criação de um algoritmo são muitas vezes considerados patenteado de informações, portanto o seu guardando cuidadosamente os proprietários. Em casos mais complexos algoritmos de tão complexos que até mesmo os criadores não sabem exatamente como eles funcionam. Este é um problema chamado de "caixa preta" AI — nossa incapacidade de ver a parte interna do algoritmo e compreender como se chega a uma decisão. Se deixá-lo trancado, a nossa sociedade pode sofrer graves conseqüências: no ambiente digital são implementadas históricos de discriminação, com os quais nós lutamos muitos anos, da escravidão e крепостничества a discriminação das mulheres.

Essas preocupações, anunciou em pequenas comunidades информатиков anteriormente, agora estão ganhando um rumo sério. Nos últimos dois anos, nesta área, havia um monte de publicações sobre a transparência da inteligência artificial. Junto com este a consciência cresce e senso de responsabilidade. "Pode haver algumas coisas que não vale a pena construir?", pergunta de Kate Crawford, pesquisador da Microsoft e co-fundador AI Agora Insitute, em Nova York.

"aprendizagem de Máquina finalmente veio à tona. Agora tentamos usá-lo para centenas de diferentes tarefas no mundo real", diz Rich Каруана, pesquisador sênior da Microsoft. "É possível que as pessoas possam expandir maliciosos algoritmos que irão afetar significantemente a sociedade no longo prazo. Agora, ao que parece, de repente, todos perceberam que este importante capítulo na nossa área".

Arbitrariamente algoritmo

Nós já usamos algoritmos, mas o problema da caixa preta não tem precedentes. Os primeiros algoritmos foram simples e transparentes. Muitos deles, que ainda está usando — por exemplo, para a avaliação de crédito. Sempre que uma nova forma de utilização entram em ação regulamento.

"as Pessoas utilizem algoritmos para a avaliação de crédito ao longo de décadas, mas nestas áreas foram muito fortes de liquidação, que cresceu em paralelo com a utilização предиктивных de algoritmos", diz Каруана. As regras para a regulação garantem que os algoritmos de previsão dão a explicação de cada ponto: você foi negado, porque você tem um grande crédito ou demasiado baixa renda.

Em outras áreas, tais como o sistema jurídico e a publicidade, não há regras, que proíbem o uso notoriamente непросчитываемых algoritmos. Você pode não saber porque você não teve o empréstimo ou não faço, porque ninguém obriga o proprietário de um algoritmo de explicar como isso funciona. "Mas sabemos que, como os algoritmos são treinados em dados do mundo real, eles devem ser parciais — porque o mundo real предвзят", diz Каруана.

Considere, por exemplo, a linguagem é uma das mais óbvias fontes de viés. Quando os algoritmos ensinados na escrita de um texto, eles формуют algumas associações entre as palavras que aparecem com mais freqüência. Por exemplo, eles aprendem que "para o homem ser um computador programador — é o mesmo que para uma mulher ser dona-de-casa". Quando este algoritmo cometem encontrar um resumo adequado para o trabalho do programador de computador, provavelmente ele escolherá entre os homens-os candidatos.

Esses problemas são bastante fáceis de corrigir, mas muitas empresas não vão. Em vez disso, eles vão esconder tais inconsistências por um escudo de informações protegidas. Sem acesso a detalhes do funcionamento do algoritmo, os especialistas, em muitos casos, não será capaz de determinar, há preconceito ou não.

Uma Vez que estes algoritmos são confidenciais, e permanecem fora da jurisdição das autoridades reguladoras, para os cidadãos é quase impossívelзасудить criadores de algoritmos. Em 2016, o tribunal federal de Wisconsin rejeitou o pedido de uma pessoa a considerar o funcionamento interno do COMPAS. O homem, Eric Loomis, foi condenado a seis anos de prisão, em parte, porque COMPAS achei "высокорисковым". Loomis diz que o direito ao devido processo foi quebrado dependência do juiz a opaco de um algoritmo. O lance final para o julgamento no Supremo tribunal dos estados unidos fracassou em junho de 2017.

Mas encobertas empresas não vão desfrutar de sua liberdade por tempo ilimitado. Em março, a União adotará as leis que exigem que as empresas de oportunidade de explicar aos clientes interessados, como funcionam os algoritmos, e como tomam decisões. Ele não tem este tipo de legislação em desenvolvimento.

ciência forense-preta

Não importa se os órgãos reguladores envolvidos em tudo isso, uma mudança cultural na forma como são desenvolvidos e implantados algoritmos, pode reduzir a prevalência необъективных algoritmos. Quanto mais as empresas e programadores comprometem-se a fazer seus algoritmos transparentes e объяснимыми, alguns esperam que as empresas que não o fizerem, perderão a boa reputação aos olhos do público.

O Aumento do poder de computação permitiu a criação de algoritmos, que são precisas, e объяснимыми — esse desafio técnico, os desenvolvedores não podem ultrapassar historicamente. Estudos recentes mostram que é possível criar объяснимые modelo, que prevêem uma recaída de terceiras entidades para a mesma caixa preta криминалистов como COMPAS.

Pronto — nós sabemos como construir o modelo sem as caixas-pretas", diz Cynthia Rudin, professor associado de ciência da computação e de engenharia elétrica na Universidade de Duke. "Mas não é tão fácil atrair a atenção das pessoas para o trabalho. Se as agências governamentais parar de pagar por um modelo de caixa-preta, teria ajudado. Se os juízes se recusam a usar o modelo de caixa preta, por sentença, isso também ajuda".

Outros trabalham para vir acima com maneiras de verificação de justiça de algoritmos, criação de um sistema de verificações e балансировок antes de o algoritmo ser lançado no mundo, assim como passa o teste de cada novo medicamento.

Agora, o modelo são feitas e implementadas de maneira muito rápida. Não é realizado as devidas verificações antes do lançamento do algoritmo de luz", diz Sarah Tan a partir da universidade de cornell.

O ideal é que os desenvolvedores devem отметать conhecidos preconceito — por exemplo, por sexo, idade e raça — e executar internos de simulação para testar seus algoritmos para a existência de outros problemas.

Entretanto, antes de caminhar até o ponto de, quando todos os algoritmos são exaustivamente testados antes do lançamento, já tem a capacidade de determinar quais deles serão de sofrer com o preconceito.

Em seu último trabalho, Tang, Каруана e seus colegas descreveram uma nova maneira de entender o que pode ocorrer sob a capa de algoritmos de caixa preta. Os cientistas criaram um modelo que simula o algoritmo de caixa preta, aprendendo a avaliar o risco de reincidência de acordo com o COMPAS. Eles também criaram um outro modelo, que foi treinada de acordo com dados do mundo real, que mostram o que realmente ocorreu previsto reincidência. Comparação de dois modelos permitiu que os pesquisadores para avaliar a precisão do que o previsto pontuação, não analisando o algoritmo. As diferenças nos resultados de dois modelos podem mostrar quais variáveis, tais como a raça ou a idade, podem ser mais importantes em um ou outro modelo. Os resultados mostraram que o COMPAS discrimina preta pessoas.

Corretamente construídos algoritmos de roteamento podem resolver há muito tempo as distorções na área de justiça criminal, o policiamento e muitas outras esferas da sociedade.