Nowy algorytm przybliżył nas do pełnej symulacji mózgu

Znany fizyk Richard Feynman powiedział kiedyś: "nie mogę utworzyć, nie rozumiem. Dowiedz się, jak rozwiązać każdy problem, który już został rozwiązany". Obszar neurosciences, która coraz bardziej nabiera tempa, przyjęła słowa Feynmana do serca. Dla takich neurobiologów-teoretyków kluczem do zrozumienia tego, jak działa inteligencja, będzie jego odtworzenie wewnątrz komputera. Neuron za neuronem, starają się przywrócić procesy nerwowe, które dają początek myśli, pamięci lub uczuć. Mając cyfrowy mózg, naukowcy będą mogli sprawdzić nasze obecne teorie poznania lub wybrać opcje, które prowadzą do zaburzeń pracy mózgu. Jak uważa filozof Nick Бостром z uniwersytetu Oksfordzkiego, imitacja ludzkiej świadomości jest jednym z najbardziej obiecujących (i ciężkich) sposobów, aby odtworzyć — i przekracza — ludzką pomysłowość.

Jest tylko jeden problem: nasze komputery nie mogą poradzić sobie z równoległej naturą naszych mózgów. W полуторакилограммовом organie ze sobą powiązane ponad 100 miliardów neuronów i bilionów synaps.

Nawet najpotężniejsze superkomputery dziś odstają od tych skal: takie maszyny, jak komputer K z Najlepszych praktyk instytutu nauk obliczeniowych w Kobe, Japonia, mogą obsługiwać nie więcej niż 10% neuronów i ich synaps w korze.

Po części ten luz związany z oprogramowaniem. Im szybciej staje się obliczeniowa sprzęt, tym częściej algorytmy stają się podstawą do pełnej symulacji mózgu.

W tym miesiącu międzynarodowa grupa naukowców całkowicie zmieniła strukturę popularnego algorytmu symulacji, mając potężną technologię, która radykalnie skraca czas obliczeń i wykorzystanie pamięci. Nowy algorytm jest kompatybilny z różnego rodzaju obliczeniową sprzętu, od laptopów do superkomputerów. Gdy przyszłe superkomputery wyjdą na scenę — a oni będą od 10 do 100 razy mocniejszy współczesnych — łódź od razu będzie обкатан na tych potworach.

"Dzięki nowej technologii możemy korzystać z rosnącego paralelizm nowoczesnych mikroprocesorów o wiele lepiej niż wcześniej", mówi autor badania Jacob Jordan z centrum Badawczego Юлиха w Niemczech. Praca została opublikowana w Frontiers in Neuroinformatics.

"To decydujący krok w kierunku tworzenia technologii dla osiągnięcia symulacji sieci w skali mózgu", piszą autorzy.

Problem skali

Nowoczesne komputery składają się z setek tysięcy subdomen — węzłów. Każdy węzeł zawiera wiele centrów obróbczych, które mogą obsługiwać garstkę wirtualnych neuronów i ich połączeń.

Głównym problemem w symulacji mózgu jest to, jak skutecznie przedstawić miliony neuronów i ich połączeń w tych centrach, aby zaoszczędzić na czasie i mocy.

Jeden z najbardziej popularnych algorytmów symulacji — Memory Usage Model. Zanim naukowcy udają zmiany w swoich sieciach neuronowych, trzeba im najpierw utworzyć wszystkie te neurony i ich połączenia w wirtualnym mózgu z wykorzystaniem algorytmu. Ale w tym problem: dla każdej pary neuronów model przechowuje wszystkie informacje o powiązaniach w każdym węźle, w którym znajduje się odbierający neuron — постсинаптический neuron. Innymi słowy, presynaptyczne neuron, który wysyła impulsy elektryczne, krzyczy w pustkę; łódź musi dowiedzieć się, skąd się wzięło konkretną wiadomość, patrząc wyłącznie na neuron odbierający i dane znajdujące się w jego witrynie.

Może się to wydawać dziwne, ale taki model pozwala wszystkich węzłów zbudować swoją część pracy w neural network równolegle. To znacznie skraca czas ładowania, co częściowo wyjaśnia popularność tego algorytmu.

Ale jak już się domyśla, pojawiają się poważne problemy ze skalowaniem. Węzeł nadawca przekazuje swój komunikat do wszystkich gospodarz sieciom neuronowym węzłów. To znaczy, że każdy węzeł odbierający musi sortować każda wiadomość w sieci — nawet te, które są przeznaczone dla neuronów znajdujących się w innych węzłach.

To znaczy, że ogromna część wiadomości jest pomijana w każdym węźle, bo konkretnie w nim nie neuronu-odbiorcy. Wyobraź sobie, że poczta wysyła wszystkich pracowników w kraju skierować odpowiednie pismo. Szalona nieskuteczność, ale tak właśnie działa zasada modelu korzystania z pamięci.

Problem staje się poważniejszy w miarę wzrostu wielkości modelowania sieci neuronowych. Dla każdego węzła należy zaznaczyć miejsce do przechowywania pamięci "książki adresowej", w którym wymienione są wszystkie neuronowe mieszkańcy i ich związku. W skali miliardów neuronów "książka adresowa" staje się wielkim bagnem pamięci.

Rozmiar lub źródło

Naukowcy włamał się problem, dodając w łódź... pocztowy.

Oto jak to działa. Biorąc węzły zawierają dwa bloki informacji. Pierwszy — to baza danych, w której przechowywane są dane o wszystkich neuronach-nadawcy, które łączą się z witryną. Ponieważ synapses są w kilku rozmiarach i typach, które różnią się pod względem użycia pamięci, ta baza danych także sortuje swoje informacje w zależności od rodzajów synaps, powstały neuronami w witrynie.

Ta opcja jest już znacznie różni się od poprzednich modeli, w których dane o powiązaniach сортировались w dołączonemu źródła neuronów, a nie typu synapse. Z tego węzła nie muszą utrzymywać "książki adresowej".

"Rozmiar struktury danych w ten sposób przestaje zależeć od ogólnej liczby neuronów w sieci", wyjaśniają autorzy.

Drugi blok przechowuje dane o aktualnych połączeniach między otrzymującychwęzłem i nadawcy. Podobnie jak w grupie pierwszej jednostki, z którym organizuje dane według typu synapse. W każdym typie synapse dane są oddzielone od źródła (neuron wysyłający).

W Ten sposób, ten algorytm специфичнее swojego poprzednika: zamiast przechowywać wszystkie dane o połączeniu w każdym węźle, biorące węzły przechowują tylko te dane, które są zgodne z wirtualnym neurony w nich.

Naukowcy również dostarczyły każdemu отправляющему нейрону docelowego z książki adresowej. Podczas transmisji dane są dzielone na kawałki, a każdy fragment, który zawiera kod pocztowy, kieruje go na odpowiednie biorące węzły.

Szybki i inteligentny

Opcja zadziałała.

W trakcie testów nowy algorytm okazał się dużo lepszy od swoich poprzedników z punktu widzenia skalowalności i prędkości. Na superkomputerze JUQUEEN w Niemczech łódź pracował na 55% szybciej w porównaniu do poprzednich modeli na losowej sieci neuronowych, głównie dzięki swojej ściegiem prostym schemacie transmisji danych.

W sieci o wielkości pół miliarda neuronów, np. symulacja jednej sekundy biologicznych zdarzeń zajęła około pięć minut czasu pracy JUQUEEN na nowym algorytmie. Modelki-poprzednicy zajmowały sześć razy więcej czasu.

Zgodnie z oczekiwaniami, kilka testów skalowalności wykazały, że nowy algorytm o wiele bardziej skuteczne w zarządzaniu dużymi sieciami, ponieważ skraca czas przetwarzania kilkudziesięciu tysięcy transferów danych trzy razy.

"Teraz koncentruje się na przyspieszenie symulacji obecności różnych form sieci plastyczności", — zawarli autorzy. Biorąc to pod uwagę, w końcu, cyfrowy mózg człowieka może być w zasięgu ręki.