Використовують наш мозок глибоке навчання для осмислення світу?

Одразу ж, коли доктор Блейк Річардс почув про глибокому навчанні, він зрозумів, що зіткнувся не лише з методом, який революціонізує штучний інтелект. Він зрозумів, що дивиться на щось фундаментальне від мозку людини. Це був початок 2000-х, а Річардс проводив курс в Університеті Торонто разом з Джеффом Хінтоном. Хинтону, який стояв біля витоків створення алгоритму, який підкорив світ, запропонували читати вступний курс про його метод навчання, натхненний людським мозком.

Ключові слова тут «натхненний мозком». Незважаючи на переконаність Річардса, ставка грала проти нього. Мозок людини, як виявилося, не має важливої функції, яка програмується в алгоритмах глибокого навчання. На поверхні ці алгоритми порушували основні біологічні факти, вже доведені нейробіолог.

Але що, якщо глибоке навчання і мозок насправді сумісні?

І ось, в новому дослідженні, опублікованому в eLife, Річардс, працюючи з DeepMind, запропонував новий алгоритм, що базується на біологічній структурі нейронів в неокортексі. Кортекс головного мозку, є домом для вищих когнітивних функцій, таких як міркування, прогнозування і гнучке мислення.

Команда об'єднала свої штучні нейрони в багаторівневу мережу і поставила перед нею завдання класичного комп'ютерного зору — визначати рукописні цифри.

Новий алгоритм впорався на відмінно. Але важливо інше: він аналізував приклади для навчання так, як це роблять алгоритми глибокого навчання, але був побудований повністю на фундаментальної біології мозку.

«Глибоке навчання можливе в біологічній структурі», уклали вчені.

Оскільки на поточний момент ця модель являє собою комп'ютерний варіант, Річардс сподівається передати естафету експериментальним нейробиологам, які могли б перевірити, чи працює такий алгоритм в реальному мозку.

Якщо так, дані можуть бути передані комп'ютерним вченим для розробки масово паралельних і ефективних алгоритмів, на яких будуть працювати наші машини. Це перший крок у напрямку до злиття двох областей в «доброчесний хоровод» відкриттів та інновацій.

Пошук цапа-відбувайла

Хоча ви напевно чули про те, що штучний інтелект нещодавно обіграв кращого з кращих в го, ви навряд чи знаєте, як саме працюють алгоритми в основі цього штучного інтелекту.

В двох словах, глибоке навчання засноване на штучної нейронної мережі з віртуальними «нейронами». Як і хмарочос, мережа структурована в ієрархії: нейрони низького рівня обробляють введення — наприклад, горизонтальні чи вертикальні лінії, що утворюють цифру 4, а нейрони високого рівня обробляють абстрактні аспекти цифри 4.

Щоб навчити мережу, ви даєте їй приклади того, що шукаєте. Сигнал розповсюджується по мережі (піднімається по сходинках будівлі), і кожен нейрон намагається вгледіти щось фундаментальне у роботі «четвірки».

Як діти вчаться чомусь новому, спочатку мережа справляється не дуже добре. Вона видає все, що, на її думку, схоже на цифру чотири — і виходять образи в дусі Пікассо.

Але саме так протікає навчання: алгоритм зіставляє висновок з ідеальним введенням і розраховує різницю між ними (читай: помилки). Помилки «назад поширюються» по мережі, навчаючи кожен нейрон, мовляв, це не те, що ви шукаєте, шукайте краще.

Через мільйони прикладів і повторень, мережа починає працювати бездоганно.

Сигнал помилки вкрай важливий для навчання. Без ефективного «зворотного поширення помилки» мережа не буде знати, які з її нейронів помиляються. У пошуках козла відпущення штучний інтелект покращує себе.

Мозок теж це робить. Але як? Ми поняття не маємо.

Біологічний тупик

Очевидно інше: рішення з глибоким навчанням не працює.

Зворотне поширення помилки — вкрай важлива функція. Вона вимагає наявності певної інфраструктури для коректної роботи.

По-перше, кожен нейрон у мережі повинен отримувати повідомлення про помилку. Але в мозку нейрони з'єднані тільки з кількома партнерами по низхідного потоку (якщо взагалі з'єднані). Щоб зворотне поширення працювало в мозку, нейрони на перших рівнях повинні сприймати інформацію від мільярдів сполук в низхідних каналах — а це біологічно неможливо.

І хоча деякі алгоритми глибокого навчання адаптують локальну форму зворотного поширення помилки — по суті між нейронами — вона вимагає, щоб їх з'єднання вперед і назад було симетричним. В синапсах мозку такого не відбувається майже ніколи.

Більш сучасні алгоритми адаптують дещо іншу стратегію, реалізуючи окремий шлях зворотного зв'язку, який допомагає нейронів знаходити помилки локально. Хоча це більше реалізовується біологічно, у мозку немає окремої обчислювальної мережі, присвяченій пошуку козлів відпущення.

Але у нього є нейрони зі складними структурами, на відміну від однорідних «куль», які в даний час застосовуються в глибокому навчанні.

Розгалужені мережі

Вчені черпають натхнення з пірамідальних клітин, які заповнюють кору головного мозку людини.

«Більшість цих нейронів мають форму дерев, їх коріння глибоко йдуть в мозок, а «гілки» виходять на поверхню», говорить Річардс. «Що примітно, коріння отримують одні набори вхідних даних, а гілки інші».

Цікаво, але структура нейронів часто виявляється «саме такий, як треба» для ефективного вирішенняобчислювальної задачі. Взяти, приміром, обробку відчуттів: днища пірамідальних нейронів знаходяться там, де повинні, для отримання сенсорного введення, а верхівки зручно розташовані для передачі помилок через зворотній зв'язок.

чи Може ця складна структура бути еволюційним рішенням по боротьбі з помилковим сигналом?

Вчені створили багатошарову нейронну мережу на основі попередніх алгоритмів. Але замість однорідних нейронів вони дали їй нейрони середніх верств — затиснуті між уведенням і виведенням — схожі на справжні. Навчаючись на рукописних цифрах, алгоритм показав себе набагато краще, ніж одношарова мережа, незважаючи на відсутність класичного зворотного поширення помилки. Клітинні структури могли самостійно визначити помилку. Потім, в потрібний момент, нейрон поєднував обидва джерело інформації для пошуку кращого рішення.

В цьому є біологічна основа: нейробіологи давно знають, що вхідні гілки нейрона виконують локальні розрахунки, які можна інтегрувати з сигналами зворотного поширення помилки від гілок виводу. Але ми не знаємо, чи працює мозок насправді — тому Річардс доручив нейробиологам з'ясувати це.

Більш того, ця мережа обробляє проблему схожим на традиційний метод глибокого навчання чином: використовує багатошарову структуру для вилучення прогресивно більш абстрактних ідей про кожному числі.

«Це особливість глибокого навчання», пояснюють автори.

Глибоко навчається мозок

Без сумніву, в цій історії буде більше несподіваних поворотів, тому що комп'ютерні вчені вносять все більше біологічних деталей в алгоритми ІІ. Річардс і його команда розглядають прогностичну функцію зверху-вниз, коли сигнали з більш високих рівнів безпосередньо впливають на те, як більш низькі рівні реагують на введення.

Зворотний зв'язок з верхніми рівнями не тільки покращує сигналізацію помилок; вона також може заохочувати нейрони нижчого рівня обробки працювати «краще» в режимі реального часу, говорить Річардс. Поки мережа не перевершила інші біологічні мережі глибокого навчання. Але це і не важливо.

«Глибоке навчання зробило величезний вплив на ШІ, але до сьогоднішнього дня його вплив на нейронауку було обмежено», говорять автори дослідження. Тепер у нейробіологів буде привід провести експериментальну перевірку та дізнатися, чи лежить структура нейронів в основі природного алгоритму глибокого навчання. Можливо, у наступні десять років почнеться взаємовигідний обмін даними між нейробіолог і дослідниками штучного інтелекту.