Не від світу цього: вчені створили штучний мозок з срібла і змусили його вчитися

Крихітна самоорганізована мережа штучних синапсів пам'ятає свої переживання і може вирішувати прості завдання. Її творці сподіваються, що коли-небудь на основі цього штучного мозку будуть створені пристрої, за своєю енергоефективності не поступаються обчислювальної потужності мозку. Взагалі, мізки, якщо опустити їх досягнення в мисленні і вирішенні проблем, досконалі у своїй енергоефективності. Для роботи мозку потрібно стільки ж енергії, скільки поглинає 20-ватна лампа розжарювання. А один з найпотужніших та найшвидших суперкомп'ютерів у світі, комп'ютер K у Кобе, Японія, споживає до 9,89 мегавати енергії – приблизно стільки ж, скільки і 10 000 будинків. Але в 2013 році, навіть з такою енергією, машині знадобилося 40 хвилин, щоб змоделювати 1% активності людського мозку протягом 1 секунди.

І ось інженери-дослідники з Каліфорнійського інституту NanoSystems при Каліфорнійському університеті в Лос-Анджелесі сподіваються потягатися з обчислювальної та енергоефективної здібностями мозку, завдяки системам, які відображають структуру мозку. Вони створюють пристрій, можливо, перше у своєму роді, яке «натхненне мозком генерувати властивості, які дозволяють мозку робити те, що він робить», говорить Адам Стіг, дослідник і доцент інституту, керує проектом разом з Джимом Гимжевски, професором хімії в Каліфорнійському університеті в Лос-Анджелесі.

Їх пристрій зовсім не схоже на звичайні комп'ютери, в основі яких лежать невеликі дроти, видрукувані на кремнієвих мікросхем в високовпорядкованих схемах. Поточна експериментальна версія являють собою сітку 2 х 2 мм з срібних нанопроводів, сполучених штучними синапсами. На відміну від кремнієвої схеми з її геометричною точністю, це пристрій переплетено як «добре перемішане блюдо спагетті», говорить Стіг. При цьому її тонка структура організована з випадкових хімічних і електричних процесів, а не спроектована ретельним чином.

За своєю складністю ця срібна мережа нагадує мозок. На квадратний сантиметр сітки доводиться мільярд штучних синапсів, що на кілька порядків відрізняється від реального мозку. Електрична активність мережі також демонструє властивість, унікальне для складних систем на зразок мозку: «критичність», стан між порядком і хаосом, що вказує на максимальну ефективність.

Ця мережа надзвичайно переплетених нанопроводів може виглядати хаотичною і випадковою, але її структура і поведінка нагадують поведінку нейронів мозку. Вчені з NanoSystems розробляють її як пристрій-мозок для навчання і обчислень

Більш того, експерименти показують, що ця нейроморфная (тобто схожа на мозок) срібна дротяна сітка володіє великим функціональним потенціалом. Вона вже може виконувати прості навчальні та логічні операції. Вона може очищати приймається сигнал від небажаного шуму, а це важлива здатність для розпізнавання голосу і схожих завдань, які викликають проблеми у традиційних комп'ютерів. І її існування доводить принцип, що в один прекрасний день стане можливе створення пристроїв з енергоефективністю, близькою до енергоефективності мозку.

Особливо цікаво ці переваги виглядають на тлі наближення межі мініатюризації і ефективності кремнієвих мікропроцесорів. «Закон Мура мертвий, напівпровідники більше не можуть ставати менше, а люди починають голосити, мовляв, що ж нам робити», говорить Алекс Нюджент, CEO компанії Knowm, що займається нейроморфными обчисленнями та не брала участь у проекті Каліфорнійського університету. «Мені подобається ця ідея, цей напрямок. Звичайні обчислювальні платформи в мільярд разів менше ефективні».

Перемикачі в ролі синапсів

Коли Гимжевски почав працювати над своїм проектом з срібною сіткою 10 років тому, його цікавила зовсім не энергоэффективнось. Йому було нудно. Використовуючи скануючий тунельний мікроскоп для вивчення електроніки на атомних масштабах протягом 20 років, він, нарешті, сказав: «Я втомився від досконалості і точного контролю і злегка втомився від редукціонізму».

Редукціонізм, варто вважати, лежить в основі всіх сучасних мікропроцесорів, коли складні явища і схеми можна пояснити за допомогою простих явищ і елементів.

У 2007 році йому запропонували зайнятися вивченням окремих атомних комутаторів (або перемикачів), розроблених групою Масакадзу Аоно з Міжнародного центру матеріалів на наноархитектонике в Цукубі, Японія. Ці комутатори містили той же інгредієнт, який забарвлює срібну ложку в чорний колір, коли вона стосується яйця: сульфід заліза, затиснутий у сендвиче між твердим металічним сріблом.

Подача напруги на пристрої підштовхує позитивно заряджені іони срібла в сульфиде срібла до шару срібного катода, де ті відновлюються до металевого срібла. Атомні нитки срібла ростуть, в кінцевому рахунку закриваючи проміжок між металевими срібними сторонами. Перемикач включений, і струм може текти. Реверсування струму має протилежний ефект: срібні мости скорочуються, а перемикач вимикається.

Проте незабаром після розробки перемикача група Аоно почала спостерігати незвичну поведінку. Чим частіше використовувався перемикач, тим легше він включався. Якщо ж він деякий час не використовувався, він поступово вимикався самостійно. По суті, перемикач пам'ятав своюісторію. Аоно і його колеги виявили, що перемикачі, схоже, взаємодіяли один з одним, так що включення одного перемикача іноді блокувало або выключало інших поблизу.

Більшість в групі Аоно хотіло сконструювати ці дивні властивості поза перемикачів. Але Гимжевски і Стіг (який тільки що оформив докторську ступінь в групі Гимжевского) згадали про синапсах, перемикачах між нервовими клітинами в людському мозку, які також змінюють стосунки з отриманням досвіду і взаємодією. І так народилася ідея. «Ми подумали: чому б не спробувати втілити все це в структуру, яка нагадує кору мозку ссавця, і вивчити її?», каже Стіг.

Створення таку складну структуру виразно було складно, але Стіг і Одриус Авиценис, який тільки що приєднався до групи в якості аспіранта, розробили для цього протокол. Виливаючи нітрат срібла на крихітні мідні сфери, вони могли викликати зростання мікроскопічно тонких пересічних срібних дротів. Потім вони могли пропустити через цю сітку сірчаний газ, щоб створити шар сріблястого сульфіду між срібними проводами, як у вихідному атомному перемикачі команди Аоно.

Самоорганізована критичність

Коли Гимжевски і Стіг розповіли іншим про свій проект, ніхто не повірив, що це спрацює. Деякі сказали, що пристрій продемонструє один тип статичної активності і на ньому осяде, згадує Стіг. Інші припустили протилежне: «Вони говорили, що перемикання стане каскадним і вся конструкція просто згорить», говорить Гимжевски.

Але пристрій не розплавилося. Навпаки, коли Гимжевски і Стіг спостерігали за ним через інфрачервону камеру, вхідний струм продовжував змінювати шляхи, якими проходив через пристрій — доводячи, що активність в мережі була локалізована, а швидше розподілена, як в мозку.

Одного разу осіннім днем у 2010 році, коли Авиценис і його колега Генрі Силлин підвищували вхідна напруга пристрої, вони раптом помітили, що вихідна напруга початок випадковим чином коливатися, ніби сітка проводів ожила. «Ми сіли і дивилися на це, ми були в шоці», говорить Силлин.

Вони здогадувалися, що знайшли дещо цікаве. Коли Авиценис проаналізував дані моніторингу за кілька днів, він виявив, що мережа залишалася на одному і тому ж рівні активності протягом коротких періодів частіше, ніж протягом тривалих. Пізніше вони виявили, що дрібні області активності більш поширені, ніж великі.

«У мене щелепа відвисла», говорить Авиценис, тому що вони вперше отримали з свого пристрою степеневий закон. Степеневі закони описують математичні відносини, в яких одна змінна змінюється як ступінь інший. Вони застосовуються до систем, в яких більші масштаби, більш тривалі події менш поширені, ніж дрібні і більш короткі, однак поширені і не випадково. Пер Бак, датський фізик, спочилий у 2002 році, вперше запропонував статечні закони як відмінні риси всіх видів складних динамічних систем, які можуть організовуватися на великих масштабах і довгих дистанціях. Така поведінка, говорив він, вказує, що складна система балансує і функціонує на золотій середині між порядком і хаосом, у стані «критичності», і всі її частини взаємодіють і пов'язані заради максимальної ефективності.

Як і передбачав Бак, статечне поведінка спостерігалося в мозку людини: у 2003 році Дітмар Пленц, нейрофізіолог Національного інституту здоров'я, спостерігав, що групи нервових клітин активували інші, які, в свою чергу, активували інші, часто запускаючи системні каскади активацій. Пленц виявив, що розміри цих каскадів слідують розподілу за степеневим законом, і мозок дійсно діяв таким чином, щоб максимізувати поширення активності, не ризикуючи втратити контроль над її розповсюдженням.

Той факт, що пристрій Каліфорнійського університету також продемонструвало степеневий закон в дії, це дуже важливо, каже Пленц. Тому що з цього випливає, що, як і в мозку, у нього є тонкий баланс між активацією та гальмуванням, який утримує в роботі суму його частин. Активність не пригнічує сет, але і не припиняється.

Пізніше Гимжевски і Стіг знайшли ще одна схожість між срібною мережею і мозком: точно так само, як сплячий людський мозок демонструє менше коротких каскадів активації, ніж безсонний мозок, стан короткої активації в срібній мережі стає менш розповсюдженим при більш низьких вхідних енергіях. У деякому роді, зменшення енергоспоживання в пристрій може створити стан, що нагадує сплячу стан людського мозку.

Навчання та обчислення

Та ось питання: якщо мережа срібних дротів володіє властивостями, схожими на властивості мозку, може вона розв'язувати обчислювальні завдання? Попередні експерименти показали, що відповідь — так, хоча пристрій, звичайно, ще й віддалено не порівняти зі звичайним комп'ютером.

По-перше, програмного забезпечення немає. Замість цього дослідники використовують той факт, що мережа може спотворювати вхідний сигнал різними способами, в залежності від того, де вимірюється вихід. Це пропонує можливе використання для розпізнавання голосу або зображення, оскільки пристрій повинен мати можливість очищати галасливий вхідний сигнал.

З цього також випливає, що пристрій можна використовувати для так званих резервуарнихобчислень. Оскільки один уведення може, в принципі, генерувати багато, мільйони різних висновків (звідси і резервуар), користувачі можуть вибирати або комбінувати висновки так, щоб результатом стало бажане обчислення ввідних. Наприклад, якщо стимулювати пристрій у двох різних місцях одночасно, є шанс, що один з мільйонів різних висновків буде представляти суму двох вступних.

Завдання полягає в тому, щоб знайти правильні висновки і декодувати їх, а також з'ясувати, як краще кодувати інформацію, щоб мережа могла її розуміти. Зробити це можна буде за рахунок навчання пристрої: шляхом прогону завдання сотні або тисячі разів, спершу з одним типом введення, потім з іншим, і порівняння, який висновок краще справляється із завданням. «Ми не програмуємо пристрій, але вибираємо кращий спосіб кодувати інформацію так, щоб поведінка мережі було корисним і цікавим», говорить Гимжевски.

У роботі, яка скоро буде опублікована, вчені розкажуть, як навчили мережа проводів виробляти прості логічні операції. І неопублікованих експериментах вони навчили мережа вирішувати просту задачу на пам'ять, яку зазвичай ставлять щурам (Т-лабіринт). У тесті Т-лабіринту щур винагороджується, якщо робить правильний поворот у відповідь на світло. Маючи власну версію для навчання, мережа може робити правильний вибір у 94% випадків.

досі ці результати були не більш ніж доказом принципу, каже Нуджент. «Маленька щур, приймаюча рішення в Т-лабіринті, ніколи не наближається до чого-то з області машинного навчання, що може оцінювати свої системи» на традиційному комп'ютері, говорить він. Він сумнівається, що з цього пристрою можна зробити корисний чіп в найближчі кілька років.

Але потенціал величезний, підкреслює він. Тому що мережа, як і мозок, не поділяє обробку і пам'ять. Традиційним комп'ютерів необхідно передавати інформацію між різними областями, які обробляють дві функції. «Вся ця зайва комунікація накопичується, тому що проводам потрібна енергія», говорить Нуджент. Взявши традиційні комп'ютери, ви повинні були б знеструмити Франції, щоб змоделювати повний людський мозок у високому дозволі. Якщо пристрої ніби срібною мережі зможуть вирішувати завдання з ефективністю алгоритмів машинного навчання, які працюють на традиційних комп'ютерах, вони зможуть задіяти в мільярд разів менше енергії. А далі справа за малим.

Висновки вчених також підтверджують думку, що при правильних обставин інтелектуальні системи можуть формуватися шляхом самоорганізації, не маючи будь-якого шаблону або процесу для їх розробки. Срібна мережа «виникла спонтанно», каже Тодд Хілтон, колишній менеджер DARPA, підтримав проект на ранніх етапах.

Гимжевски вважає, що мережа срібних дротів або подібні пристрої можуть стати краще традиційних комп'ютерів в прогнозуванні складних процесів. Традиційні комп'ютери моделюють світ рівняннями, які часто тільки приблизно описують складні явища. Нейроморфные мережі на атомних перемикачах вирівнюють власну внутрішню структурну складність з явищем, яке моделюють. І вони роблять це швидко — стан мережі може коливатися зі швидкістю до десятків тисяч змін в секунду. «Ми використовуємо систему для розуміння складних явищ», говорить Гимжевски.

На початку цього року на засіданні Американського хімічного товариства в Сан-Франциско Гимжевски, Стіг і їх колеги представили результати експерименту, в ході якого вони згодували пристрою перші три роки шестирічного набору даних про дорожній рух в Лос-Анджелесі, у формі серії імпульсів, що вказують кількість проїжджаючих машин на годину. Через сотні годин навчання висновок, нарешті, передбачив статистичну тенденцію другої половини набору даних, і цілком непогано, хоча пристрою його не показували.

Можливо, одного разу, жартує Гимжевски, він використовує мережу для прогнозування фондового ринку.