Jak pojawiły się sieci neuronowe?

W Ciągu ostatnich 10 lat, dzięki metodzie tzw. głębokiego uczenia się, mamy najlepsze systemy sztucznej inteligencji — np. aparaty rozpoznawania mowy na smartfonach lub ostatni automatyczny tłumacz Google. Głębokie szkolenia, w rzeczywistości, stało się nowym nurtem w znanych sieciach neuronowych, które wchodziły w modę i wychodziły od ponad 70 lat. Po raz pierwszy sieci neuronowe zaproponowali Warren Маккалоу i Walter Pitts w 1994 roku, dwa badacze university of Chicago. W 1952 r. przeszedł do pracy w massachusetts institute of technology, aby stworzyć podstawy dla pierwszej katedry когнитологии.

Sieci Neuronowe były jednym z głównych kierunków badań w neurobiologii, jak i informatyki do 1969 roku, kiedy to, jeśli wierzyć legendom, ich zginie matematyki mit Marvin Мински i Seymour Паперт, które przez rok stały się соруководителями nowego laboratorium sztucznej inteligencji MIT.

Odrodzenie ta metoda przetrwała w 1980, lekko odszedł w cień w pierwszej dekadzie nowego wieku i z фанфарами wrócił w drugim, na grzbiecie niesamowitego rozwoju chipem i ich produkcji mocy.

"Istnieje opinia, że pomysły w nauce — to jak epidemia wirusa", mówi Tomaso Poggio, profesor когнитологии i nauk o mózgu w MIT. "Istnieje, wydaje się, że pięć lub sześć najważniejszych szczepów wirusa grypy, a jeden z nich powraca z niezwykłą częstotliwością do 25 lat. Ludzie są zakażone, zyskują odporność i nie chorują na następne 25 lat. Następnie pojawia się nowe pokolenie, gotowy do tego, aby zarazić tym samym szczepem wirusa. W nauce ludzie zakochują się w ideę, ona wszystkich doprowadza do szału, a następnie jego młotek do śmierci i stają się odporni na nią — męczą się od niej. U pomysłów musi być jednakowa częstotliwość".

Ważkie pytania

Sieci Neuronowe stanowią sposób uczenia maszynowego, gdy komputer uczy się wykonywać niektóre zadania, analizując przykłady treningowe. Zazwyczaj te przykłady ręcznie oznaczone wcześniej. System rozpoznawania obiektów, na przykład, może wchłonąć tysiące oznaczonych zdjęć samochodów, domów, filiżanek i tak dalej, i następnie będzie mógł znaleźć obrazy wizualne w tych obrazach, które konsekwentnie korelują z określonymi etykietami.

Sieć Neuronową jest często porównywany z ludzkim mózgiem, w którym też są takie sieci, składające się z tysięcy lub milionów prostych węzłów obróbczych, które są ściśle powiązane między sobą. Większość nowoczesnych sieci neuronowych są zorganizowane w warstwy węzłów i dane przechodzą przez nich tylko w jednym kierunku. Oddzielny węzeł może być powiązany z wieloma węzłami w warstwie pod nim, z którego pobiera dane, i wieloma węzłami w warstwie powyżej, w które on przekazuje dane.

Każdy z tych przychodzących połączeń węzeł przypisuje numer — "waga". Gdy sieć jest aktywna, węzeł otrzymuje różne zestawy danych — różne liczby — dla każdego z tych połączeń i mnoży się na odpowiedni ciężar. Następnie sumuje otrzymane wyniki, tworząc spójną liczba. Jeśli ta liczba jest poniżej wartości progowej, węzeł nie przekazuje dane w następną warstwę. Jeśli liczba przekracza wartość progową, węzeł "aktywowany", wysyłając liczba — sumę ważonych danych wejściowych — na wszystkie wychodzące połączenia.

Gdy sieć neuronowa trenuje, jej wagi i progi początkowo ustawiane są w kolejności losowej. Treningowe dane podawane w dolna warstwa — wejściowy — i przechodzą przez kolejne warstwy, умножаясь i суммируясь skomplikowany sposób, aż w końcu ruszą już przekonwertowane, w warstwie. Podczas szkolenia wagi i progi stale się zmienia, gdy dane treningowe z takimi samymi oznaczeniami, nie będą dawać podobne wnioski.

Umysł i maszyny

Sieci Neuronowe, opisane Маккалоу i Питтсом w 1944 roku, mieli i wartości progowe i wagi, ale nie były ułożone warstwowo na grubość, a naukowcy nie zadał żadnego konkretnego mechanizmu uczenia się. Ale Маккалоу i Pitts wykazały, że sieć neuronowa mogłaby w zasadzie obliczyć dowolną funkcję, jak każdy komputer cyfrowy. Wynik był więcej z dziedziny neurobiologii, niż informatyki: trzeba było założyć, że ludzki mózg można traktować jako urządzenie komputerowe.

Sieci Neuronowe pozostają cennym narzędziem dla нейробиологических badań. Na przykład, poszczególne warstwy sieci lub zasady ustawienia wag i progów reprodukowali obserwowane cechy ludzkiej neuroanatomy i funkcji poznawczych, a więc dotyczą tego, jak mózg przetwarza informacje.

Pierwsza обучаемая sieć neuronowa, "Перцептрон" (lub "Персептрон"), wykazano psychologiem Корнеллского uniwersytetu Frankiem Розенблаттом w 1957 roku. Projekt "Перцептрона" było jak na nowoczesną sieć neuronową, za wyjątkiem tego, że miał jedną warstwę z regulowanymi ciężarkami i progami, wciśnięty między wejściowym i wyjściowym warstwami.

"Перцептроны" aktywnie badano w psychologii i informatyki do 1959 roku, kiedy Мински i Паперт opublikował książkę pod tytułem "Перцептроны", która pokazała, że dzieło jest dość zwykłych obliczeń na персептронах było niepraktyczne z punktu widzenia czasu i kosztów.

"Oczywiście, wszystkie ograniczenia jak znikają, jeśli maszyny są nieco bardziej skomplikowane", na przykład, w dwóch warstwach", mówi Poggio. Ale w tym czasie książka wywarła odstraszający efekt na badania sieci neuronowych.

"Te rzeczy warto rozpatrywać w kontekście historycznym",mówi Poggio. "Dowód posłużyły do programowania w językach takich jak Lisp. Na krótko przed tym ludzie spokojnie używane komputery analogowe. Nie było do końca jasne w tym momencie, do czego w ogóle doprowadzi programowanie. Myślę, że są lekko przesadzone, ale, jak zawsze, nie można dzielić wszystko na czarne i białe. Jeśli traktować to jako zawody pomiędzy analogowym obliczenia i cyfrowym obliczenia, to oni walczyli o to, co było trzeba".

Częstotliwość

Do 1980 roku, jednak naukowcy opracowali algorytm modyfikacji wag sieci neuronowych i wartości progowych, które były wystarczająco skuteczne dla sieci z więcej niż jedną warstwą, eliminując wiele ograniczeń, określonych Мински i Папертом. Obszar ten przeżyła Renesans.

Ale z rozsądną punktu widzenia w sieciach neuronowych czegoś brakowało. Dość długa trening może doprowadzić do zmiany ustawień sieci do momentu, kiedy zacznie klasyfikować dane przydatne sposób, ale że te ustawienia oznaczają? Na jakie cechy obrazu patrzy rozpoznawania obiektów i jak zbiera je po kawałku, tworząc wizualne sygnatury samochodów, domów i filiżanek kawy? Nauka wagi poszczególnych połączeń nie da odpowiedzi na to pytanie.

W ostatnich latach komputerowe naukowcy zaczęli wymyślać pomysłowe metod analitycznych w celu określenia strategii, przyjętych neuronowe sieci. Ale w 1980 roku strategii tych sieci były niezrozumiałe. Dlatego na przełomie xix i xx wieku sieci neuronowe zostały wyparte wektorowymi maszyn, alternatywnym podejściem do silnika uczenia się, opierającym się na czystej i eleganckiej matematyki.

Niedawny wzrost zainteresowania sieciom neuronowym sieci — rewolucja głębokiego uczenia się — jest zobowiązany do branży gier komputerowych. Skomplikowany element graficzny i szybkie tempo współczesnych gier wideo wymaga sprzętu, który będzie w stanie nadążyć za trendem, w wyniku czego pojawił się GPU (procesor graficzny) z tysiącami stosunkowo prostych obróbczych rdzeni w jednym chipie. Wkrótce naukowcy zdali sobie sprawę, że architektura procesora graficznego doskonale nadaje się do sieci neuronowych.

Nowoczesne procesory graficzne pozwoliły zbudować sieci 1960 roku i dwa - i trzy warstwy sieci 1980-tych w bukiety z 10-, 15 -, a nawet 50-warstwowe sieci dzisiejszego dnia. Oto za co odpowiada słowo "głębokie" w "głębokim nauce". Do głębi sieci. Obecnie głębokie szkolenia jest odpowiedzialny za najbardziej efektywne systemy praktycznie we wszystkich dziedzinach badań sztucznej inteligencji.

Pod kapturem

Krycie sieci nadal martwi się o teoretyków, ale i na tym froncie jest postęp. Poggio kieruje programem badań na temat teoretycznych podstaw inteligencji. Nie tak dawno temu Poggio i jego koledzy wydali teoretyczne badanie sieci neuronowych w trzech częściach.

Pierwsza część, która została opublikowana w zeszłym miesiącu w International Journal of Automation and Computing, skierowana zakresu obliczeń, które mogą prowadzić sieci głębokiego uczenia się, i temu, kiedy głębokie sieci mają przewagi nad неглубокими. Części dwa i trzy, które zostały wydane w postaci raportów, adresowane problemy globalnej optymalizacji, czyli gwarancji, że sieć będzie znaleźć ustawienia, które najlepiej pasują do jej edukacyjnych danych, a także przypadków, gdy sieć jest tak dobrze rozumie specyfikę szkoleń jej danych, że nie można generalizować inne przejawy tych samych kategorii.

Przed nami jeszcze wiele teoretycznych pytań, na które odpowiedzi trzeba dać. Ale jest nadzieja, że sieci neuronowe mogą w końcu przerwać cykl pokoleń, które zanurzyć je gorąco, to zimno.