Inteligência artificial e Geoffrey Hinton: o pai de "aprendizado profundo"

Inteligência Artificial. Quanto lhe disse, mas nós mesmo e dizer que realmente não começaram. Quase tudo o que você ouve sobre o progresso da inteligência artificial, baseada na descoberta, que trinta anos. Manter o ritmo de progresso exigirá de rastreamento graves restrições severas limitações. Avançar em primeira pessoa — James Somers.

Eu estou lá, onde em breve será o centro do mundo, ou simplesmente em uma grande sala no sétimo andar de um brilhante torre no centro de Toronto — de que lado olhar. Me acompanha Jordan Jacobs, o co-fundador deste local: Instituto Vetor, que no outono deste ano abre suas portas e promete se tornar um global epicentro da inteligência artificial.

Estamos em Toronto, porque Geoffrey Hinton em Toronto. E Geoffrey Hinton pai "aprendizado profundo", a tecnologia subjacente para a campanha publicitária sobre o tema da IA. "Daqui a 30 anos vamos olhar para trás e dizer que Jeff — Einstein para por AI, de aprendizagem profunda, de tudo o que chamamos de inteligência artificial", diz Jacobs. De todos os pesquisadores da IA Хинтона citam com mais freqüência do que os três que o seguiam por ele, juntos. Seus alunos de graduação e pós-graduação vão trabalhar no laboratório de IA em Apple, Facebook e OpenAI; o próprio peter gabriel é o principal cientista na equipe do Google Brain AI. Praticamente qualquer realização na área de IA nos últimos dez anos — na tradução, o reconhecimento de fala, reconhecimento de imagens e jogos — uma maneira ou de outra se refere à obra de Хинтона.

O Instituto Vetor, este monumento também, idéias Хинтона, é um centro de investigação, em que empresas de todos os estados unidos e o Canadá — como Google, Uber e NVIDIA — patrocinam os esforços para a comercialização da tecnologia de IA. O dinheiro entra mais rápido que Jacobs tem tempo com perguntas; dois de seus co-fundadores entrevistava da empresa na área de Toronto, e a demanda de especialistas na área de IA foi 10 vezes maior do que entrega o Canadá a cada ano. O instituto Vetor, em certo sentido непаханая tselina para a tentativa de mobilizar o mundo em torno de aprendizado profundo: para investir nesta técnica, ensinar-lhe, aprimorar e aplicar. Centros de dados são construídos, os arranha-céus se enchem de стартапами, na área convergem as gerações inteiras de estudantes.

Quando você está em pé no chão "do Vetor", tem-se a sensação de que você está no início de algo. Mas uma profunda formação, em sua essência, é muito velha. Revolucionária artigo Хинтона, escrito juntamente com David Румельхартом e Ronald Williams, que foi publicado em 1986. No trabalho de detalhe descrito um método de retorno de propagação do erro (backpropagation), "бэкпроп", se é curto. Бэкпроп, de acordo com John Cohen, — é "tudo sobre o que se baseia profunda formação geral de todos".

Se você olhar para a raiz, hoje, AI é profundo aprendizado e profunda formação de бэкпроп. E isso é surpreendente, considerando que бэкпропу mais de 30 anos. Para entender como isso aconteceu, só precisa de: como a técnica poderia esperar tanto tempo e, em seguida, tornar-se a causa da explosão? Porque uma vez que você aprende a história do бэкпропа, você vai entender o que está acontecendo agora com a AI, e também o que podemos e não estar no início de uma revolução. Nós, provavelmente, no final de tal.

A Caminhada do Instituto do Vetor no escritório Хинтона no Google, onde ele passa a maior parte do seu tempo (ele agora é professor emérito da Universidade de Toronto) — é uma espécie viva publicidade para a cidade, pelo menos no verão. Torna-se claro por que o peter gabriel, que nasceu no reino Unido, se mudou para cá na década de 1980 depois do trabalho na Universidade de Carnegie — Mellon, em Pittsburgh.

Pode ser, nós não estamos no início de uma revolução

Toronto é a quarta maior cidade da América do Norte (depois da cidade do México, Nova Iorque e Los Angeles) e, certamente diversificada: mais da metade da população nasceu fora do Canadá. E isso pode ser visto, quando ir para a cidade. A multidão multinacional. Há serviços gratuitos de saúde e boas escolas, as pessoas são amigáveis, a política de esquerda e estável; tudo isso atrai pessoas como Хинтона, que diz que partiu dos estados unidos devido "Ирангейта" (do irã-contras — o maior escândalo político nos estados unidos da segunda metade da década de 1980; em seguida tornou-se conhecido o fato de que os membros individuais do governo dos EUA organizaram o segredo de entrega de armas para o irã, violando a оружейное embargo contra o país). A partir de então, começa a nossa conversa antes do almoço.

"Muitos acreditavam que os estados unidos poderiam invadir a Nicarágua", diz ele. "Alguma razão eles acreditavam que a Nicarágua pertence estados unidos". Ele conta que, recentemente, ocorreu um grande avanço no projeto: "comigo começou a trabalhar muito bom junior engenheiro", " mulher de nome Sarah seguinte: link. Seguinte: link иранка, e lhe foi negado o visto para trabalhar nos EUA. Escritório do Google em Toronto, puxou-o.

Хинтону 69 anos de idade. Ele afiada, худощавое inglês rosto com uma fina boca, orelhas grandes e dona de seu nariz. Ele nasceu em Wimbledon e na conversa se assemelha a de um narrador infantil portátil sobre a ciência: o curioso, завлекающий, na tentativa de explicar tudo. Ele é engraçado e um pouco joga para o público. Machucá-lo sentar-se devido a problemas nas costas, por isso a voar, ele não pode, em consulta com o dentista recai sobre o dispositivo, semelhante a uma prancha de surfe.

Na década de 1980 Hinton foi, como agora, um especialista em нейронным redes, consideravelmente simplificado do modelo de rede de neurônios e sinapses em nosso cérebro. No entanto, no momento em que estava firmemente decidido que a rede neural — impasse em estudos de IA. Embora a primeira rede neural "Перцептрон" foi desenvolvido na década de 1960, e foi considerada o primeiro passo na direção da inteligência da máquina nível humano, em 1969, Marvin Minsky e Seymour Паперт matematicamente provado que as redes podem realizar apenasuma função simples. Essas redes foram apenas duas camadas de neurônios da camada de entrada e a camada de saída. Uma rede com um grande número de camadas entre os neurônios de entrada e saída poderia, em teoria, resolver uma ampla variedade de problemas, mas ninguém sabia como ensiná-las, de modo que, na prática, eles foram inúteis. Devido a "Перцептронов" a partir da idéia de redes neurais abandonado quase todos com poucas exceções, incluindo Хинтона.

Um Avanço Хинтона em 1986, era para mostrar que o método de propagação de erros pode ensinar profunda de uma rede neural com a quantidade de camadas mais do que dois ou três. Mas ainda demorou 26 anos, antes que aumentou de computação de poder. No artigo de 2012, Hinton e dois de seus alunos de Toronto, mostrou que os mais profundos redes neurais treinadas com a aplicação de бэкпропа, venceram os melhores sistemas de reconhecimento de imagens. "Uma profunda aprendizagem" começou a ganhar força. O mundo da noite para o dia, decidi que a manhã IA, tomará o poder. Para Хинтона foi a tão esperada vitória.

o Campo de distorção da realidade

A rede Neural é geralmente retratado como um sanduíche cujas camadas são empilhadas umas sobre as outras. Essas camadas contêm neurônios artificiais, que por sua própria natureza, são apresentados de pequenas unidades de computação, que são animados — como está animado de um verdadeiro neuron — e transmitem a emoção e a outros neurônios, com os quais estão ligados. A excitação de um neurônio é representado por um número, digamos, 0.13 ou 32.39, o que determina o grau de excitação do neurônio. E há outro ponto importante que um número cada uma das ligações entre dois neurônios, determina quantos de excitação deve ser transmitido de um para o outro. Este é o número de modela a força das sinapses entre os neurônios do cérebro. Quanto maior o número, mais forte é a comunicação, e, portanto, mais excitação flui de um para o outro.

Uma das mais bem sucedidas aplicações profundas redes neurais tornou-se o reconhecimento de imagens. Hoje existem programas capazes de reconhecer, há a imagem de um cachorro-quente. Qualquer coisa de dez anos atrás, eles não eram possíveis. Para fazê-los funcionar, primeiro você precisa tirar a foto. Para simplificar, vamos dizer que é preto-e-branco 100 100 pixels. Você скармливаете sua rede neural, ajustando-se a excitação de cada simulado de um neurônio em introdutório camada de modo que ele será igual ao brilho de cada pixel. É a camada inferior do sanduíche: 10 000 de neurônios (100 x 100), representando a intensidade de cada pixel na imagem.

Este, em Seguida, uma camada de neurônios ligar, a outra grande camada de neurônios, acima de, digamos, alguns milhares, e eles, por sua vez, a outra camada de milhares de neurônios, mas já é menor e assim por diante. Finalmente, a camada superior do sanduíche — camada de saída será composto de dois neurônios — um que representa o "cachorro-quente", e o outro, "cachorro-quente". A ideia é, para treinar uma rede neural excitar apenas o primeiro destes neurônios, se a imagem é um cachorro-quente, e o segundo, se não. Бэкпроп, o método de propagação de erros, no qual Hinton construiu sua carreira, faz exatamente isso.

Бэкпроп extremamente simples, embora funcione melhor com uma quantidade enorme de dados. É por isso que grandes volumes de dados são tão importantes para a inteligência artificial por eles com tal zelo lidam com Facebook e Google e por que o Vector Institute decidiu fazer a conexão com os quatro maiores hospitais do Canadá e a troca de dados.

Neste caso, estas tomam a forma de um milhão de imagens, alguns com cachorros-quentes, alguns sem; o truque é para marcar estas imagens como ter um cachorro-quente. Quando você cria uma rede neural, pela primeira vez, a conexão entre os neurônios são aleatórios peso de números aleatórios, que dizem o quanto de excitação é transmitida através de cada conexão. Se as sinapses do cérebro ainda não estão definidas. O objetivo бэкпропа — alterar esses pesos para a rede ganhou: de modo que, quando você passa a imagem de um cachorro-quente para a camada mais inferior do neurônio "cachorro-quente" na parte superior da camada excitado.

Por exemplo, você pega o primeiro tutorial a imagem com a imagem de um piano. Você transformará a intensidade de pixels da imagem 100 x 100 a 10 000 números, um para cada neurônio da camada inferior da rede. À medida que a excitação é distribuído através de uma rede de acordo com a força da conexão de neurônios em camadas adjacentes, todos gradualmente se trata de que a última camada de um dos dois neurônios, que determinam, há a imagem de um cachorro-quente. Porque é uma imagem com um piano, um neurônio "cachorro-quente" deve mostrar zero e o neurônio "não é um cachorro-quente" deve mostrar o número é maior. Suponhamos que todos não funciona assim. Digamos que a rede cometido tal imagem. Бэкпроп é um procedimento de fortalecimento do poder de cada conexão em rede, que permite a correção de erro no exemplo de aprendizagem.

Como é que funciona? Você começa com os dois últimos neurônios e выясняете o quanto eles estão errados: qual é a diferença entre os números de excitação e de como ela deve ser, na verdade. Em seguida, você visualiza a cada ligação, levando a estes neurônios — descendo abaixo de camadas — e define a sua contribuição para o erro. Você continuar fazendo isso até chegar a um primeiro conjunto de conexões no fundo da rede. A essa altura, você sabe qual é a contribuição individual de conexão no erro comum. Finalmente, você muda todo o peso que, no geral, a reduzir as chances de erro. Este assim chamado "método de propagação de erros" é que você прогоняете de erro de volta sobre a rede, começando com o retorno de extremidade de saída.

O Incrível começa a acontecer, quando você faz isso com milhões ou bilhões de imagens: rede começa bem determinar, na foto de cachorro-quente ou não. E o que é ainda maisdigno de nota é o fato de que as camadas individuais dessas redes de reconhecimento de imagem estão começando a "ver" imagens, assim como ele faz com a nossa própria visual do sistema. Ou seja, a primeira camada detecta os contornos de neurônios despertado, quando os contornos de comer, e não animado, que não existe; a próxima camada determina os conjuntos de caminhos, por exemplo, os cantos; a próxima camada começa a se diferenciar da forma; a próxima camada encontra todos os tipos de elementos de tipo "aberto bolos" ou "fechado pães", porque são ativados correspondente neurônios. A rede é organizada em camadas hierárquicas, mesmo não sendo programado assim.

a Verdadeira inteligência não hesita, quando o problema muda um pouco.

é isso o que tanto todos os impressionou. Não se trata do fato de que as redes neurais bem classificam a imagem com cachorros-quentes: eles constroem uma representação de idéias. Com o texto torna-se ainda mais evidente. Você pode alimentar o texto da Wikipédia, de muitos bilhões de palavras, simples de rede neural, ensinando-la a conceder a cada palavra de números, os возбуждениям de cada neurônio em uma camada. Se a imaginar todos esses números coordenadas no complexo espaço, você encontra um ponto conhecido neste contexto, como um vetor, para cada palavra nesse espaço. Em seguida, você ensina a rede de modo que as palavras que aparecem lado a lado nas páginas da Wikipédia, são наделяться semelhantes coordenadas — e pronto, algo estranho acontece: as palavras têm um valor semelhante, serão exibidos lado a lado neste espaço. "Louco" e "chateado" de estar ao lado; "três" e "sete" também. Além disso, o vetor de aritmética permite a dedução de um vetor de "França" a partir de "Paris", adicioná-lo aos "Itália" e encontrar a "Roma" nas proximidades. Ninguém falou em redes neurais, que Roma e a Itália — isto é o mesmo que Paris para a França.

"isso É incrível", diz peter gabriel. "É chocante". Uma rede neural pode ser visto como uma tentativa de levar as coisas — imagens, palavras, gravação de chamadas, dados médicos e colocá-los em, como dizem matemática, multi-dimensional espaço vetorial, em que a proximidade ou o afastamento de coisas irá refletir aspectos críticos do mundo real. Hinton acredita que é isso que faz o cérebro. "Se você quer saber o que é o pensamento, — diz ele, — eu posso enviar-lhe uma série de palavras. Eu posso dizer: "John pensou: "oops". Mas se você perguntar: o que é o pensamento? O que significa para o João ter essa idéia? Porque sua cabeça não abre aspas, "oops", falência aspas, geralmente tal e perto, não. Em sua cabeça flui de uma atividade neural". Grandes pinturas de atividade, se você matemático, pode pegar em vetor do espaço onde a atividade de cada neurônio irá coincidir com o número, e cada número — coordenada muito grande de um vetor. De acordo com Хинтона, pensamento — é a dança de vetores.

Agora entende-se porque é que o Instituto Vetor chamaram assim?

Hinton cria uma espécie de campo de distorção da realidade-lhe a sensação de confiança e de entusiasmo, вселяющие fé no fato de que para vetores, nada é impossível. Afinal de contas, eles já criaram autogestão carros que detectam o câncer de computadores, o instante tradutores da linguagem falada.

, E só quando você sair da sala, você recorda, é que esses sistemas de "aprendizado profundo" ainda é muito estúpido, apesar de sua демонстративную a força do pensamento. O computador, que vê um monte de donuts para o trabalho e, automaticamente, assina como "um monte de donuts, deitado sobre a mesa", parece compreendem o mundo; mas quando o mesmo programa vê a menina que limpa os dentes, e diz que é "o menino com um taco de beisebol", você percebe o quão indescritível esse entendimento, se é que existem.

As redes Neurais é simplesmente impensado e vagas de reconhecedores de padrões, e quão úteis podem ser os reconhecedores de imagens — afinal, eles procuram integrar em qualquer software — que na melhor das hipóteses, representam limitada a raça de inteligência, que é fácil de enganar. Profunda a rede neural, que reconhece a imagem, pode ser totalmente сконфужена, se você alterar um pixel ou adicionar ruído, invisível para o homem. Quase tão frequentemente como nós encontramos novas maneiras de aplicação do aprendizado profundo, assim como muitas vezes nos deparamos com suas limitações. Autogestão carros não podem dirigir em condições que não vimos antes. Máquinas não podem desmontar as ofertas que exigem bom senso e a compreensão de como o mundo funciona.

Uma Profunda formação em certo sentido, simula o que acontece no cérebro humano, mas superficialmente — o que pode explicar por que sua inteligência é tão superficial, às vezes. Бэкпроп não foi detectado no processo de imersão no cérebro, a tentativa de decifrar o próprio pensamento; ele cresceu a partir dos modelos de treinamento de animais método de tentativa e erro em old-fashioned experiências. E a maioria dos passos importantes que foram feitas desde o seu advento, não incluiu nada de novo sobre o tema da neurobiologia; estes foram os melhoramentos técnicos, os bons anos de trabalho de matemáticos e engenheiros. O que sabemos sobre inteligência, não é nada comparado com o que temos sobre ele, ainda não sabemos.

David Дювенод, professor adjunto do mesmo ramo, o que e Hinton, na Universidade de Toronto, diz que uma profunda formação semelhante ao de engenharia antes da introdução da física. "Alguém escreveu o trabalho e diz: "Eu fiz essa ponte, e ele vale a pena!". Outro escreveu: "Eu fiz essa ponte, e ele caiu, mas eu adicionei um apoio e ele vale a pena". E todos estão enlouquecendo a suporta. Alguém adiciona um arco — e todos oscomo: arcos é legal!!!! Com a física mesmo, você pode realmente entender o que vai funcionar e o porquê. Nós só recentemente começaram a passar a pelo menos alguma compreensão da inteligência artificial."

O próprio peter gabriel diz: "Na maioria das conferências dizem sobre a introdução de pequenas mudanças, em vez de pensar sobre isso e saber se as perguntas: "Por que o que estamos fazendo agora, não é? Por que isso acontece? Vamos nos concentrar nisso".

A Visão do lado difícil de fazer, quando tudo o que você vê é uma promoção atrás de promoção. Mas o mais recente progresso na área de IA, em menor grau, foi científicos e mais de engenharia. Embora nós nos tornamos uma melhor compreensão de quais mudanças irão melhorar o sistema de aprendizagem profunda, nós, enquanto vagamente apresentamos como esses sistemas funcionam e será que eles já se reunir em algo tão poderoso como a mente humana.

é Importante entender, se nós poderíamos extrair tudo o que pode, a partir de бэкпропа. Se sim, então estamos à espera de um platô no desenvolvimento de inteligência artificial.

a Paciência

Se você quiser ver o próximo avanço, algo como base para máquinas com muito mais flexível inteligência, você deve, em tese, recorrer à pesquisa, como a pesquisa бэкпропа nos anos 80: quando as pessoas inteligentes desistiram, porque suas idéias ainda não trabalharam.

Alguns meses atrás, eu viajei no Center for Minds, Brains and Machines, o adiamento da instituição, расквартированном no MIT, para ver, como um amigo meu Эял Дехтер defende sua tese de doutorado em ciência cognitiva. Antes de iniciar o discurso de sua esposa, Amy, sua Ruby e sua filha Suzanne apoiaram e desejaram boa sorte.

Эял começou seu discurso com uma pergunta: como acontece que Suzanne, que apenas dois anos, aprendeu a falar, jogar, acompanhar as histórias? O que no cérebro humano de tal forma que permite que ele é tão bom aprender? Aprender a se o computador nunca para de aprender de forma rápida e sem problemas?

Nós entendemos o novo fenômeno do ponto de vista de coisas que nós já entendemos. Nós dividimos o domínio em pedaços e estudamos as partes. Эял — matemático e o programador, e ele pensa sobre as tarefas — por exemplo, fazer um suflê de como complexos programas de computador. Mas, afinal, você não aprender a fazer um suflê, aprendendo centenas mínimos de instruções de um programa como "vire o cotovelo em 30 graus, em seguida, procure na bancada, em seguida, puxe o dedo, então...". Se fosse para fazer isso em cada novo caso, a formação se tornou insuportável, e você parou no desenvolvimento. Em vez disso, vemos no programa as etapas de alto nível como "bata esquilos", que em si consistem em субпрограмм tipo "quebre o ovo" e "separe as proteínas de gemas".

Computadores não o fazem e, portanto, parecem tolas. Para que o sistema de aprendizagem profunda reconhece cachorro-quente, você terá que alimentar-lhe 40 milhões de imagens de cachorros-quentes. Чтоюы Suzanne aprendi cachorro-quente, apenas mostre a ela um cachorro-quente. E muito antes dela aparecer a compreensão da linguagem, que vai muito mais profundo reconhecimento de ocorrência de palavras individuais juntos. Ao contrário de um computador, na sua cabeça tem uma idéia de como o mundo funciona. "Surpreende-me que as pessoas têm medo de que os computadores demoram um trabalho", diz Эял. "Os computadores serão capazes de substituir os advogados não porque os advogados fazem algo complicado. E porque os advogados ouvem e falam com as pessoas. Neste sentido, estamos muito longe de tudo isso."

Este inteligência não hesitará, se você está um pouco altere os requisitos de uma solução para o problema. E a chave para a tese Эяла foi a demonstração, em princípio, como fazer o computador funcionar assim: viva a aplicar tudo o que ele já sabe, para os novos desafios, de captar rapidamente na mosca, a se tornar um especialista em uma nova área.

De fato, este é o procedimento que ele chama de um algoritmo de "pesquisa-compressão". Ela dá um computador a função do programador, que a biblioteca reutilizável de componentes modulares que permite criar programas mais complexos. Não saber nada sobre um novo domínio, o computador tenta estruturar o conhecimento sobre ele, apenas estudando, consolidando detectado e mais estuda, como uma criança.

Seu conselheiro, Joshua Тененбаум, — um dos mais citados por pesquisadores de IA. O nome Тененбаума всплывало metade das conversas que eu tive com outros cientistas. Algumas das pessoas-chave na DeepMind — equipe de desenvolvimento AlphaGo, seja lendário обыгравшего do campeão do mundo em jogo no dia em 2016 — funcionem sob seu início. Ele está envolvido em uma startup, que tenta dar muito direcionada a veículos intuitiva de compreensão dos fundamentos da física e intenções de outros motoristas, para que melhor предвосхищали o que está acontecendo em situações com as quais não encontrou anteriormente.

A Tese de Эяла até que não é aplicado na prática, mesmo que o programa não foi introduzido. "O problema, sobre o qual funciona Эял, muito e muito complicados", diz Тененбаум. "Precisa a fim de se passaram muitas gerações".

Quando sentamo-nos saborear uma xícara de café, Тененбаум disse que explora a história de бэкпропа por causa de inspiração. Ao longo de décadas бэкпроп foi a manifestação de um íngreme de matemática, em sua maior parte, não importa o que não é capaz. À medida que os computadores tornaram-se mais rápido, mas a técnica é mais difícil, tudo mudou. Ele espera que algo semelhante acontece com o seu próprio trabalho e os trabalhos de seus alunos, mas "pode demorar mais de um par de décadas".

No Que diz respeito Хинтона, ele está convencido de que a superação de limitações AI está relacionado com a criação de uma ponte entre o информатикой e a biologia". Бэкпроп, a partir desse ponto de vista, foi um triunfo biologicamente inspirados nuvem; a idéia original surgiu não da engenharia, e dosa psicologia. Portanto, agora Hinton tenta repetir este truque.

Hoje, a rede neural é constituída de grandes camadas planas, mas no neocórtex humano estes neurônios, alinhando-se não apenas horizontalmente, mas também verticalmente em colunas. Hinton sabe para que servem essas colunas — na visão, por exemplo, eles permitem reconhecer objetos, mesmo quando a mudança de ponto de vista. Portanto, ele cria uma versão sintética — e os chama de "cápsulas" — para testar esta teoria. Até agora, nada não sai: cápsulas particularmente não melhoraram o desempenho da sua rede. Mas, depois de 30 anos atrás, com o бэкпропом foi o mesmo.

"Isso deve funcionar", diz ele sobre a teoria das cápsulas, rindo de sua própria bravura. "E então, o que ainda não funciona, é apenas temporário de irritação".

Por material Medium.com