Es necesario abrir la "caja negra" de la inteligencia artificial, hasta que no sea demasiado tarde

A lo largo de varios años en la década de 1980 los aspirantes de la escuela de medicina del hospital san jorge, en londres eligieron, mediante la técnica de alta tecnología. Un programa de ordenador, una de las primeras en su género, просматривала resumen, la elección de las propuestas del orden de 2.000 candidatos en el año. El programa se analizaron registros de ingresos, al estudiar las características de los solicitantes seleccionados, y de un ajuste hasta que sus decisiones no coinciden con la opinión de la comisión de admisión.

Sin Embargo, el programa ha aprendido a encontrar más buenos de valoración y características de los logros académicos. Cuatro años después de la aplicación del programa de dos médicos en el hospital descubrieron que el programa, como regla general, rechaza a las mujeres solicitantes y de las personas con no europeos nombres, independientemente de sus méritos académicos. Los médicos descubrieron que el orden de los 60 a los solicitantes de cada año simplemente se negó en una entrevista de trabajo debido a su sexo o raza. El programa incluyó el género y el prejuicio racial en los datos utilizados para su aprendizaje — de hecho, aprendí lo que los médicos y los extranjeros no son los mejores candidatos a doctor.

Treinta años más tarde, nos encontramos con un problema similar, pero los programas internos de los prejuicios ahora más ampliamente difundidos y toman decisiones con más altas tasas de interés. Los algoritmos de inteligencia artificial basados en el aprendizaje de máquina, se utilizan para todo, desde las instituciones gubernamentales y hasta la esfera de la salud, tomar decisiones y hacer predicciones basadas en datos históricos. Al estudiar los patrones en los datos, también absorben y los prejuicios en ellos. Google, por ejemplo, una muestra más de la publicidad barata de trabajo a las mujeres que a los hombres; un día de la entrega de Amazon pasa негритянские barrios, y las cámaras digitales pueden tener dificultades para reconocer la cara de blanco y de color.

Es Difícil de entender, es si el algoritmo parcial o justo, y así creen que incluso los expertos en informática. Una de las razones es que los detalles de creación de un algoritmo a menudo se consideran patentada de información, por lo tanto, su comida y protegen a los propietarios. En los casos más complejos algoritmos es tan compleja que incluso los creadores no saben exactamente cómo funcionan. Se trata de un problema de la denominada "caja negra" de la ia, de nuestra incapacidad de ver la parte interior de un algoritmo y de entender cómo se llega a una decisión. Si se deja atrapado, nuestra sociedad puede verse seriamente dañada: en el entorno digital se implementan históricos de discriminación, con los que hemos luchado muchos años, de la esclavitud y крепостничества a la discriminación de la mujer.

Estas preocupaciones expresadas en las comunidades pequeñas, информатиков antes, ahora están ganando serio la vuelta. En los dos últimos años en esta área aparece bastante muchas publicaciones acerca de la transparencia de la inteligencia artificial. Junto con este conocimiento crece y sentido de la responsabilidad. "¿Puede ser alguna de las cosas que no debemos construir?", pregunta kate crawford, el investigador de Microsoft y co-fundador de la AI Now insitute son cómodas y modernas en la ciudad de nueva york.

"La formación por fin ha salido a la palestra. Ahora estamos tratando de usarlo para cientos de diferentes tareas en el mundo real", dice rich caruana, investigador de Microsoft. "Es posible que las personas puedan expandir el malware de algoritmos, que contribuirá considerablemente a la sociedad en el largo plazo. Ahora, parece, de repente, todo entendido, que es un importante capítulo en nuestra área".

Самовольный algoritmo

Hace mucho tiempo que utilizamos algoritmos, pero el problema de la caja negra no tiene precedentes. Los primeros algoritmos eran simples y transparentes. Muchos de ellos se sigue utilizando — por ejemplo, para la evaluación de la solvencia. Cada vez que se utiliza, entra en juego la regulación.

"la Gente utiliza algoritmos para la evaluación de la solvencia a lo largo de décadas, pero en estas áreas han sido bastante fuertes de la solución, que crecieron en paralelo, con предиктивных de algoritmos", dice caruana. Las reglas de regulación garantizan que los algoritmos de predicción dan la explicación de cada punto: se le ha negado, debido a que tiene un gran crédito o demasiado bajo de ingresos.

En otras áreas, tales como el sistema legal y la publicidad, no hay reglas que prohíben el uso a sabiendas de que непросчитываемых de algoritmos. Usted no puede saber, ¿por qué se le niega un préstamo o no la tomaron en el trabajo porque nadie hace el propietario de un algoritmo de explicar cómo funciona esto. "Pero sabemos que debido a que los algoritmos aprenden en datos del mundo real, deben estar sesgados debido a que el mundo real предвзят", dice caruana.

Veamos, como ejemplo, el idioma es uno de los más evidentes de las fuentes de sesgo. Cuando los algoritmos aprenden en la que está escrito el texto, se moldeó algunas asociaciones entre las palabras que aparecen juntos más a menudo. Por ejemplo, aprenden que "para el hombre de ser como programador — es la misma que la de la mujer de ser ama de casa". Cuando este algoritmo cometen a encontrar un buen resumen para el trabajo de un programador, es probable que elegirá entre los hombres-de los candidatos.

Este tipo de problemas es bastante fácil de arreglar, pero muchas empresas simplemente no irá. En lugar de ello, se oculta en estas incoherencias por un escudo de la información protegida. Sin acceso a los detalles del algoritmo, los expertos en muchos casos, no son capaces de determinar, hay un sesgo o no.

Debido a que estos algoritmos son secretos y se quedan fuera de la jurisdicción de los órganos reguladores, a los ciudadanos es prácticamente imposiblecondenar de los creadores de los algoritmos. En 2016, el tribunal supremo de wisconsin, rechazó la petición de la persona a examinar el funcionamiento interno de un COMPAS. El hombre, eric Лумис, fue condenado a seis años de prisión, en parte porque COMPAS consideró su "высокорисковым". Лумис dice que su derecho al debido proceso se ha violado la dependencia de los jueces de opaco algoritmo. Final de la solicitud en el examen del caso en el tribunal supremo de estados unidos falló en junio de 2017.

Pero se esconden de la empresa no podrán disfrutar de su libertad durante un periodo ilimitado de tiempo. A principios de marzo de la unión europea tomará las leyes, que se exigirá a las empresas la posibilidad de explicar a los clientes interesados, cómo funcionan los algoritmos y cómo toman decisiones. Ee.uu. no tiene ese tipo de legislación en el diseño.

investigación forense de la caja negra

Independientemente de si los reguladores involucrados en todo esto, el cambio cultural en la forma como se desarrollan y se implementan los algoritmos, se puede reducir la prevalencia de los sesgos de los algoritmos. Debido a que cada vez más empresas y programadores se comprometen a hacer sus algoritmos transparentes y explicable, algunos tienen la esperanza de que las empresas que no lo hagan, perderán una buena reputación ante los ojos del público.

El Aumento de la capacidad de procesamiento ha permitido crear algoritmos que son y precisos, y explicable — esta técnica la tarea de los desarrolladores no podían superar históricamente. Estudios recientes indican que puede crear explicación de los modelos que predicen la reincidencia delictiva de los sujetos y lo mismo, como la caja negra de los criminalistas como COMPAS.

"ya está Todo listo — sabemos cómo crear modelos sin cajas negras", dice cynthia Рудин, el docente de informática y la ingeniería eléctrica en la Universidad de duke. "Pero no es fácil atraer la atención de la gente a esta labor. Si las agencias del gobierno y dejen de pagar por el modelo de la caja negra, habría funcionado. Si los jueces se niegan a utilizar el modelo de la caja negra para la determinación de la pena, esto también ayudará".

Otros están trabajando para llegar a los métodos de la justicia de algoritmos, la creación de un sistema de auditoría y de балансировок antes de que el algoritmo se publicará en el mundo, al igual que como pasa la prueba de cada nuevo medicamento.

"Ahora el modelo se hacen y se implementan de manera muy rápida. No se lleva a cabo la diligencia debida antes de la publicación del algoritmo en la luz", dice sarah tang, de la universidad de cornell.

Idealmente, los desarrolladores deben отметать conocidos prejuicios — por ejemplo, por sexo, edad y raza y ejecutar internos de simulación para la validación de sus algoritmos de la presencia de otros problemas.

Entretanto, antes de llegar al punto en que todos los algoritmos serán cuidadosamente testeado antes del lanzamiento, ya que tiene la posibilidad de determinar cuáles de ellos sufren de prejuicios.

En su última obra tan, caruana y sus colegas describieron una nueva manera de entender lo que puede pasar bajo el capó de los algoritmos de la caja negra. Los científicos crearon un modelo que simula el algoritmo de la caja negra, aprendiendo a evaluar el riesgo de reincidencia de los datos de la UCM. También se ha creado otro modelo que se sumaron a los datos del mundo real, que muestran, si realmente había predicho рецидивизм. La comparación de los dos modelos ha permitido a los científicos estimar la precisión de la predicción puntos, sin analizar el algoritmo. Las diferencias en los resultados de los dos modelos se pueden mostrar qué variables, tales como la raza o la edad, pueden ser más importantes en uno u otro modelo. Sus resultados muestran que el COMPAS discrimina a hombres negros.

Correctamente construidos algoritmos pueden resolver hace mucho maduras prejuicios en el ámbito de la justicia penal, la policía de actividades y muchos otros ámbitos de la sociedad.