Hvordan gjorde det nevrale nettverket?

I Løpet av de siste 10 årene, på grunn av metoden for såkalt dyp læring, har vi de beste kunstig intelligens-systemet — for eksempel, talegjenkjennere på smarttelefoner eller den siste automatiske oversetter som Google har. Dyp læring, faktisk, har blitt en ny trend i det som allerede er kjent nevrale nettverk, som var på Moten, og gikk for mer enn 70 år. For første gang nevrale nettverk foreslått Warren McCullough og Walter Pitts i 1994, og to forskere fra University of Chicago. I 1952 gikk de til å jobbe ved Massachusetts Institute of technology, for å legge grunnlaget for den første Avdeling av kognitiv vitenskap.

Nevrale nettverk var en av de viktigste retningene av studier i nevrobiologi og informatikk frem til 1969, da, ifølge legenden, er drept i matematikk Massachusetts Institute of technology Marvin Minsky og Seymour Papert som i år ble co-ledere av den nye artificial intelligence lab, MIT.

Den nye Versjonen av denne metoden har opplevd på 1980-tallet, litt falmet i det første tiåret av det nye århundret med en fanfare tilbake i den andre, på toppen av en utrolig utvikling av grafikk chips og prosessorkraft.

"det antas at ideen om vitenskap — som en epidemi av viruset," sa Tomaso Poggio, Professor i kognitiv vitenskap og hjerneforskning ved MIT. "Det er, tilsynelatende, fem eller seks store stammer av influensa virus, og en av dem er tilbake med en overraskende frekvens i 25 år. Mennesker blir smittet, blir immunforsvaret og ikke blir syke de neste 25 årene. Så er det en ny generasjon, klar til å bli smittet av den samme stammen av viruset. I vitenskap, folk falle i kjærlighet med ideen, er det kjører alle nøtter, deretter slått til døde og blitt immune mot det — jeg blir lei av det. Ideene skal være lik frekvens".

Tungtveiende problemer

Nevrale nettverk er en metode for maskinlæring hvor datamaskinen lærer å utføre visse oppgaver, å analysere opplæring eksempler. Som regel er disse eksemplene er merket manuelt på forhånd. Systemet er objekt anerkjennelse, for eksempel, kan absorbere tusenvis av merket bilder av biler, hus, kaffe, kopper og så videre, og så vil du være i stand til å finne visuelle bilder i disse bildene som konsekvent i samsvar med spesifikke etiketter.

En Nevrale nettverk er ofte sammenlignet med den menneskelige hjerne, som også har et slikt nettverk, som består av tusenvis eller millioner av enkel behandling noder som er nært knyttet sammen. De fleste moderne nevrale nettverk er ordnet i lag med noder, og data passere gjennom dem i bare én retning. En egen node kan være assosiert med flere noder i laget under det, som den henter data og flere noder i lag over, der den sender data.

Hver av disse innkommende linker node tilordner et nummer — "vekt". Når nettverket er aktive, den noden som mottar ulike datasett — ulike tall for hver av disse forbindelsene og multipliserer med tilsvarende vekt. Det så oppsummerer resultatene for å danne et enkelt tall. Hvis dette tallet er under en terskel, noden ikke overfører data til det neste laget. Hvis antallet overstiger terskelen, noden er "aktivert" ved å sende tallet — summen av den vektede input data på alle utgående tilkoblinger.

Når det nevrale nettverket tog, vekter og terskler er i utgangspunktet satt tilfeldig. Trening data er gitt i de lavere lag — input — og passerer gjennom de neste lag, stabling og multiplisere i en komplisert måte, før de endelig kommer, allerede forvandlet, i output-lag. Under trening, vekter og terskler er stadig justeres til trening data med samme etikett ville ikke gi lignende konklusjoner.

Sinn og maskiner

Nevrale nettverk er beskrevet av McCullough og Pitts i 1944, og hadde terskler og vekter, men var ikke organisert i lag, og forskere ikke spørre noen bestemt læring mekanismer. Men McCullough og Pitts viste at nevrale nettverk kan i prinsippet beregne en funksjon som en hvilken som helst digital datamaskin. Resultatet var mer en nevrovitenskap enn informatikk: det var nødvendig å anta at den menneskelige hjernen kan sees som en dataenhet.

Nevrale nettverk fortsette å være et verdifullt verktøy for nevrobiologiske studier. For eksempel, den enkelte lag av nettverket regler eller innstillinger av vekter og terskler reprodusert observert funksjoner av menneskelig neuroanatomy og kognitive funksjoner, og dermed rørt på hvordan hjernen behandler informasjon.

Den Første trenbar nevrale nettverk, "Perceptron" (eller "Perceptron"), har vært vist ved Cornell University psykolog Frank Rosenblatt i 1957. Utformingen av "Perceptron" var lik den moderne nevrale nettverk, bortsett fra at den hadde ett lag med justerbare vekter og grensene mellom input-og output-lag.

"Perceptrons" var aktivt studert i psykologi og informatikk fram til 1959, da Minsky og Papert utgitt en bok med tittelen "Perceptrons", som viste at arbeidet for daglig bruk av datamaskinen med et perceptron var upraktisk fra synspunkt av tid utgifter.

"Selvfølgelig, alle restriksjoner ville forsvinne hvis du gjør maskinene litt mer komplisert", for eksempel, i to lag," sier Poggio. Men selv om boken hadde en hemmende effekt på studiet av nevrale nettverk.

"Disse tingene bør vurderes i en historisk sammenheng",sier Poggio. "Beviset ble bygget for programmeringsspråk som Lisp. Kort tid før dette, pleide folk analoge datamaskiner. Det var ikke klart på det tidspunktet hva vil vanligvis resultere i programmering. Jeg tror de gikk litt over bord, men, som alltid, det er umulig å dele alt i svart og hvitt. Hvis vi anser det som en konkurranse mellom analog beregning og digital beregningen, da de kjempet fordi det var nødvendig."

Frekvens

Av 1980-årene, men forskere har utviklet algoritmer for å endre nevrale nettverk vekter og terskler, som var ganske effektiv for nettverk med mer enn ett lag, å eliminere mange av de begrensninger som er definert Minsky og Papercom. Dette området opplevd en Renessanse.

Men med en rimelig synspunkt i nevrale nettverk manglet noe. Lenge nok trening kan føre til en revisjon av nettverksinnstillingene før det vil begynne å klassifisere data i en nyttig måte, men hva disse innstillingene betyr? Hva er funksjonene i bildet ser en Discerner av objekter og hvordan han samler deler for å danne en visuell signatur biler, hus og kopper kaffe? Læring vekter av enkelte forbindelser svarer ikke på dette spørsmålet.

I de siste årene, datamaskinen forskere begynte å tenke på oppfinnsomme metoder for å bestemme den analytiske strategier vedtatt nevrale nettverk. Men i 1980-årene, strategien av disse nettverkene var uklart. Derfor, ved begynnelsen av århundret nevrale nettverk ble drevet vector machines, en alternativ tilnærming til å maskinlæring basert på rene og elegante matematikk.

Den Siste bølge av interesse i nevrale nettverk — dyp læring revolusjon — bundet gaming industrien. Kompleks grafikk og fartsfylt moderne tv-spill krever maskinvare som kan holde tritt med utviklingen, som introduserer GPU (graphics processor) med tusenvis av relativt enkle prosessorkjerner på en enkelt brikke. Veldig snart forskere innså at arkitekturen av GPU er perfekt for nevrale nettverk.

Moderne Gpuer har tillatt ham å bygge opp et nettverk av 1960-tallet og to - og tre-lags nettverk av 1980-tallet i bunter på 10, 15 og til og med 50-lags nettverk i dag. Her er ansvarlige for hva ordet "dyp" i "dyp læring". Dybden av nettverket. I dag, dyp læring er ansvarlig for den mest effektive system i nesten alle områder av ai-forskning.

Under panseret

Tettheten av nettverk er fortsatt bekymret for akademikere, men på denne fronten det er fremgang. Poggio leder et forskningsprogram om emnet av det teoretiske grunnlaget for intelligens. Ikke så lenge siden, Poggio og hans kolleger har produsert en teoretisk studie av nevrale nettverk i tre deler.

Den Første delen, som ble publisert forrige måned i International Journal of Automation og Computing, adressert til utvalget av beregninger som kan utføre nettverk, dyp læring, og som, når dyp web har fordeler over det grunne. Del to og tre, som ble utgitt i form av rapporter som er adressert til problemer for global optimalisering, som er en garanti for at et nettverk skal finne innstillingene som passer best til sin trening data, samt tilfeller når nettverket er så godt kjent med spesifikasjon av treningsdata som kan ikke generalisere til andre manifestasjoner av den samme kategorier.

Det er fremdeles en rekke teoretiske spørsmål, svarene som er nødt til å gi. Men det er håp om at nevrale nettverk kan til slutt bryte syklusen av generasjoner, som kaste dem i varmt, så kaldt.