Новий алгоритм наблизив нас до повної симуляції мозку

Відомий фізик Річард Фейнман одного разу сказав: «Чого я не можу створити, я не розумію. Дізнавайтеся, як вирішити кожну проблему, яка вже була вирішена». Область нейронаук, яка все більше набирає обертів, прийняла слова Фейнмана близько до серця. Для нейробіологів-теоретиків ключем до розуміння того, як працює інтелект, його відтворення всередині комп'ютера. Нейрон за нейроном, вони намагаються відновити нервові процеси, які дають початок думок, пам'яті або відчуттям. Маючи цифровий мозок, вчені зможуть перевірити наші нинішні теорії пізнання або досліджувати параметри, які призводять до порушення роботу мозку. Як вважає філософ Нік Бостром з Оксфордського університету, імітація людської свідомості є одним з найбільш багатообіцяючих (і кропітких) способів відтворити — і перевершити — людську винахідливість.

Є тільки одна проблема: наші комп'ютери не можуть впоратися з паралельною природою наших мізків. У полуторакилограммовом органі переплетені понад 100 мільярдів нейронів і трильйонів синапсів.

Навіть найпотужніші суперкомп'ютери сьогодні відстають від цих масштабів: такі машини, як комп'ютер K Передового інституту обчислювальних наук в Кобе, Японія, можуть обробляти не більше 10% нейронів і їх синапсів в корі.

Почасти ця слабина пов'язана з програмним забезпеченням. Чим швидше стає обчислювальна апаратура, тим частіше алгоритми стають основою для повної симуляції мозку.

У цьому місяці міжнародна група вчених повністю переглянула структуру популярного алгоритму симуляції, розробивши потужну технологію, яка радикально скорочує час розрахунку і використання пам'яті. Новий алгоритм сумісний з різного роду обчислювальним обладнанням, від ноутбуків до суперкомп'ютерів. Коли майбутні суперкомп'ютери вийдуть на сцену — а вони будуть в 10-100 разів могутніше сучасних — алгоритм відразу ж буде обкатаний на цих монстрів.

«Завдяки новій технології ми можемо використовувати зростаючий паралелізм сучасних мікропроцесорів набагато краще, ніж раніше», говорить автор дослідження Джейкоб Джордан з Дослідницького центру Юлиха в Німеччині. Робота була опублікована в Frontiers in Neuroinformatics.

«Це вирішальний крок у напрямку до створення технології для досягнення симуляції мереж в масштабах мозку», пишуть автори.

Проблема масштабу

Сучасні суперкомп'ютери складаються з сотень тисяч піддоменів — вузлів. Кожен вузол містить безліч оброблювальних центрів, які можуть підтримувати жменьку віртуальних нейронів і їх з'єднань.

Основною проблемою в симуляції мозку є те, як ефективно представити мільйони нейронів і їх зв'язків у цих центрах обробки, щоб заощадити на часі та потужності.

Один з найбільш популярних алгоритмів симуляції — Memory-Usage Model. Перш ніж вчені симулюють зміни в своїх нейронних мережах, їм потрібно спершу створити всі ці нейрони та їхні сполуки у віртуальному мозку з використанням алгоритму. Але ось у чому заковика: для кожної пари нейронів модель зберігає всю інформацію про зв'язки в кожному вузлі, в якому знаходиться приймає нейрон — постсинаптический нейрон. Іншими словами, пресинаптический нейрон, який посилає електричні імпульси, кричить в порожнечу; алгоритм повинен з'ясувати, звідки взялося конкретне повідомлення, дивлячись виключно на нейрон приймає і дані, що зберігаються в його вузлі.

Може здатися дивним, але така модель дозволяє всім вузлам вибудувати свою частину роботи нейронної мережі паралельно. Це різко скорочує час завантаження, що почасти й пояснює популярність такого алгоритму.

Але як ви вже, можливо, здогадалися, з'являються серйозні проблеми з масштабуванням. Вузол відправника передає своє повідомлення всім приймаючим нейронних вузлів. Це означає, що кожне приймаюче вузол повинен сортувати кожне повідомлення в мережі — навіть ті, що призначені для нейронів, розташованих в інших вузлах.

Це означає, що величезна частина повідомлень відкидається в кожному вузлі, тому що конкретно в ньому немає нейрона-адресата. Уявіть, що поштове відділення відправляє всіх співробітників країни відносити потрібний лист. Божевільна неефективність, але саме так працює принцип моделі використання пам'яті.

Проблема стає серйозніше по мірі зростання розміру моделюється нейронної мережі. Кожному вузлу необхідно виділити місце для зберігання пам'яті «адресної книги», в якій перераховані всі нейронні жителі та їх зв'язку. У масштабі мільярдів нейронів «адресна книга» стає величезним болотом пам'яті.

Розмір або джерело

Вчені зламали проблему, додавши в алгоритм... індекс.

Ось як це працює. Приймаючі вузли містять два блоки інформації. Перший — це база даних, у якій зберігаються дані про всіх нейронах-відправників, які підключаються до вузлів. Оскільки синапси бувають декількох розмірів і типів, які різняться за використання пам'яті, ця база даних сортує свою інформацію в залежності від типів синапсів, сформованих нейронами у вузлі.

Ця установка вже значно відрізняється від попередніх моделей, в яких дані про зв'язки сортувалися по вхідному джерела нейронів, а не за типом синапсу. З-за цього сайту більше не доведеться підтримувати «адресну книгу».

«Розмір структури даних таким чином перестає залежати від загального числа нейронів у мережі», пояснюють автори.

Другий блок зберігає дані про актуальні з'єднаннях між отримуютьвузлом і відправників. Подібно до першого блоку, він організовує дані за типом синапсу. У кожному типі синапсу дані відокремлюються від джерела (відправляє нейрон).

Таким чином, цей алгоритм специфичнее свого попередника: замість того, щоб зберігати всі дані про з'єднанні в кожному вузлі, приймаючі вузли зберігають тільки ті дані, які відповідають віртуальним нейронів в них.

Вчені також надали кожному відправляє нейрона цільову адресну книгу. Під час передачі дані розбиваються на шматки, причому кожен фрагмент, що містить код поштового індексу, направляє його на відповідні приймаючі вузли.

Швидкий і розумний

Модифікація спрацювала.

В ході випробувань новий алгоритм показав себе набагато краще своїх попередників з погляду масштабованості і швидкості. На суперкомп'ютері JUQUEEN в Німеччині алгоритм працював на 55% швидше попередніх моделей на випадковій нейронної мережі, в основному завдяки своїй прямолінійної схеми передачі даних.

В мережі розміром в півмільярда нейронів, наприклад, симуляція однієї секунди біологічних подій зайняла близько п'яти хвилин час роботи JUQUEEN на новому алгоритмі. Моделі-попередники займали в шість разів більше часу.

Як і очікувалося, кілька випробувань масштабованості показали, що новий алгоритм набагато більш ефективний в управлінні великими мережами, оскільки скорочує час обробки десятків тисяч трансферів даних в три рази.

«Зараз основна увага приділяється прискоренню моделювання при наявності різних форм мережевий пластичності», — уклали автори. З урахуванням цього, нарешті, цифровий мозок людини може бути в межах досяжності.