Hvordan har det neurale netværk?

I Løbet af de seneste 10 år, på grund af den metode, af såkaldte dybe læring, vi har den bedste kunstig intelligens-system — for eksempel tale genkendere på smartphones eller den seneste automatiske oversætter, som Google. Dyb læring, i virkeligheden, er blevet en ny trend i de allerede kendte neurale netværk, som var på Mode, og gik om for mere end 70 år. For første gang neurale netværk foreslåede Warren McCullough og Walter Pitts i 1994, to forskere fra University of Chicago. I 1952 gik de til at arbejde på Massachusetts Institute of technology, til at lægge grunden for den første Afdeling af den kognitive videnskab.

Neurale netværk blev en af de vigtigste retninger af undersøgelser i neurobiologi og datalogi, indtil 1969, da, ifølge legenden, dræbt af matematik Massachusetts Institute of technology Marvin Minsky ' og Seymour Papert, der i et år blev co-ledere af den nye kunstige intelligens lab, MIT.

Genoplivning af denne metode har oplevet i 1980'erne, lidt falmet i det første årti af det nye århundrede med en fanfare tilbage i den anden, på toppen af en utrolig udvikling af grafik-chips og regnekraft.

"det menes, at ideen om videnskab — som epidemi af virus," sagde Tomaso Poggio, en Professor i kognitiv videnskab og hjerneforskning på MIT. "Der er, tilsyneladende, fem eller seks store stammer af influenza virus, og en af dem vender tilbage med overraskende frekvens i 25 år. Mennesker bliver smittet, bliver immun og ikke bliver syg de næste 25 år. Så er der en ny generation, klar til at blive smittet af den samme stamme af virus. I videnskab, folk falder i kærlighed med den idé, det driver alle nødder, derefter slået ihjel og blive immun over for det — jeg bliver træt af det. De ideer, der skal svare til den frekvens".

Vægtige emner

Neurale netværk er en metode til machine learning, hvor computeren lærer at udføre visse opgaver, analysere træning eksempler. Som regel er disse eksempler er mærket manuelt i forvejen. Systemet er objekt for anerkendelse, for eksempel, kan absorbere tusindvis af mærkede billeder af biler, huse, og kopper, og så videre, og så vil du være i stand til at finde visuelle billeder i disse billeder, der konsekvent korrelerer med bestemte etiketter.

Et Neuralt netværk er ofte sammenlignet med den menneskelige hjerne, som også har sådan et netværk, der består af tusinder eller millioner af simpel behandling knudepunkter, der er tæt forbundet. De fleste moderne neurale netværk er arrangeret i lag af knuder, og de data, der passerer gennem dem kun i én retning. En separat node kan være forbundet med flere knuder i lag under det, som indhenter data og flere knuder i lag over, hvor det sender data.

Hver af disse indgående links node tildeler et nummer — "vægt". Når netværket er aktiv, node modtager forskellige sæt af data — forskellige numre til hver af disse forbindelser, og ganger med den tilsvarende vægt. Derefter opsummerer resultaterne til at danne et enkelt nummer. Hvis dette tal er under en tærskel, node sender ikke data til det næste lag. Hvis antallet overstiger den fastsatte tærskel, node er "aktiveret" ved at sende det nummer, der — den sum af vægtede input-data på alle udgående forbindelser.

Når det neurale netværk, tog, vægt og grænseværdier er i første omgang sat tilfældigt. Data, der er fastsat i de nedre lag — i input — at passere det næste lag, stabling og gange på en kompleks måde, indtil de endelig ankommer, er allerede omdannet, i output lag. Under uddannelsen vægt og tærskler er løbende justeres, indtil de data, der med det samme etiket, der ikke ville give de samme konklusioner.

Sind og maskiner

Neurale netværk er beskrevet af McCullough og Pitts i 1944, og havde de tærskler og vægte, men var ikke organiseret i lag, og forskerne ikke spørge nogen specifik læring mekanismer. Men McCullough og Pitts viste, at neurale netværk kan i princippet beregne nogen virker som en digital computer. Resultatet var mere af en neurovidenskab end datalogi: det var nødvendigt at antage, at den menneskelige hjerne kan ses som en computer.

Neurale netværk fortsætter med at være et værdifuldt værktøj til neurobiologiske undersøgelser. For eksempel, de enkelte lag af netværket regler eller indstillinger af vægte og tærskelværdier, der er gengivet de observerede funktioner af den menneskelige neuroanatomy og kognitive funktioner, og dermed rørt om, hvordan hjernen bearbejder information.

Den Første trainable neurale netværk, "Perceptron" (eller "Perceptron"), har vist sig ved Cornell University psykolog Frank Rosenblatt i 1957. Design af "Perceptron" var magen til den moderne neurale netværk, bortset fra at det var et lag med justerbare vægte og tærskler mellem input og output lag.

"Perceptrons" var aktivt undersøgt i psykologi og datalogi indtil 1959, hvor Minsky ' og Papert udgivet en bog med titlen "Perceptrons", som viste, at arbejdet i hverdagen computing med en perceptron var upraktisk fra det synspunkt af tid, omkostninger.

"Selvfølgelig, at alle restriktioner ville forsvinde, hvis du gør de maskiner, der er lidt mere kompliceret", for eksempel, i to lag," siger Poggio. Men mens bogen havde en hæmmende effekt på studiet af neurale netværk.

"Disse ting skal ses i en historisk kontekst",siger Poggio. "Bevis blev bygget for programmeringssprog, såsom Lisp. Kort før dette, folk der anvendes analoge computere. Det var ikke klart, på det tidspunkt, hvad der vil normalt resultere i programmering. Jeg tror, de gik lidt overbord, men, som altid, er det umuligt at opdele alt i sort og hvid. Hvis vi betragter det som en konkurrence mellem analog beregning og digital beregning, så de kæmpede, fordi det var nødvendigt."

Frekvens

Af 1980'erne, de år, men forskerne har udviklet algoritmer til at ændre neurale netværk vægte og tærskler, som var ganske effektive til netværk med mere end ét lag, hvorved mange af de begrænsninger, der er defineret Minsky ' og Papercom. Dette område har oplevet en Renæssance.

Men med et rimeligt synspunkt i neurale netværk, der manglede noget. Længe nok motion kan føre til en ændring af netværksindstillingerne, indtil den vil begynde at klassificere data i en nyttig måde, men hvad disse indstillinger betyder? Hvad er den funktioner på billedet ser en Discerner af de objekter, og hvordan han samler dele til at danne en visuel signatur, biler, huse og kopper af kaffe? Læring vægte af de enkelte forbindelser, der ikke svarer på dette spørgsmål.

I de seneste år, computer videnskabsfolk begyndte at tænke på sindrige metoder til at bestemme den analytiske strategier, der er fastlagt neurale netværk. Men i 1980-erne på den strategi af disse netværk var uklart. Derfor, ved århundredeskiftet neurale netværk blev drevet vektor maskiner, en alternativ tilgang til machine learning er baseret på rene og elegante matematik.

Den Seneste bølge af interesse i neurale netværk — den dybe læring revolution — bundet gaming industrien. Kompleks grafik og hurtige moderne videospil kræver hardware, der kan holde trit med den tendens, som introducerer GPU (grafikprocessor) med tusindvis af relativt simple processorkerner på en enkelt chip. Meget snart forskere indså, at arkitektur af GPU ' en er perfekt egnet til neurale netværk.

Moderne Gpu ' er har tilladt ham at opbygge et netværk af 1960-erne og to - og tre-lags netværk af 1980'erne i bundter af 10, 15 og endda 50-lag-netværk i dag. Her er ansvarlig for, hvad ordet "dybt" i "for dyb læring". Dybden af netværket. I øjeblikket, dyb læring er ansvarlig for det mest effektive system i næsten alle områder inden for kunstig intelligens forskningen.

Under kølerhjelmen

Opacity af netværk er stadig bekymret for de akademikere, men på denne front er der sket fremskridt. Poggio leder af et forskningsprogram om emnet af det teoretiske grundlag for intelligens. For ikke så længe siden, Poggio og hans kolleger har produceret en teoretisk undersøgelse af neurale netværk i tre dele.

Den Første del, der blev offentliggjort i sidste måned i det Internationale tidsskrift Journal of Automation og Design, som henvender sig til den række af beregninger, der kan foretage netværk, dyb læring, og at de, når den dybe web har fordele i forhold til de lavvandede. Dele to og tre, som blev udgivet i form af rapporter rettet til problemer af global optimering, der er garanti for, at et netværk vil finde de indstillinger, der bedst passer sin træning data, samt tilfælde, hvor nettet er så godt klar over detaljerne i uddannelsen data, der ikke kan generalisere til andre manifestationer af de samme kategorier.

Der er stadig en masse teoretiske spørgsmål, og de svar, som vil have til at give. Men der er håb om, at neurale netværk kan endelig at bryde den onde cirkel af generationer, der kaster dem ud i varmt, så koldt.