«Гіркий урок»: учений розповів про те, що 70 років в області дослідження ШІ були витрачені практично даремно

Найбільший урок, який можна винести з 70 років досліджень ШІ, полягає в тому, що загальні методи, що використовують обчислення, в кінцевому підсумку виявляються найбільш ефективними і з великим відривом. Кінцевою причиною цього є закон Мура. Або, скоріше, його узагальнення: триваюче, експоненційний здешевлення обчислювальних процесорів. Про це «гіркий урок» розповів Річард Саттон, канадський комп'ютерний вчений. Далі — від першої особи.

Чому дослідження штучного інтелекту були в безвиході 70 років?

Більшість досліджень штучного інтелекту проводилися так, як якщо б обчислення, доступні агенту, були постійними (і в даному випадку використання людських знань було б одним з єдиних способів підвищення продуктивності). Але через деякий — набагато більше, ніж потрібно для типового дослідницького проекту — неминуче стає доступно набагато більше обчислень. У пошуках поліпшень, які можуть допомогти в короткостроковому періоді, вчені намагаються використовувати максимум людських знань в цій області, але єдине, що має значення в довгостроковій перспективі — це зростаюче використання обчислень. Ці два аспекти не повинні йти врозріз один з одним, але на практиці йдуть. Час, витрачений на один з них, не дорівнює часу, витраченого на інший. Є психологічні зобов'язання з інвестування у той чи інший підхід. А підхід, заснований на знаннях людини, має тенденцію ускладнювати методи таким чином, що вони стають менш придатними для використання переваг загальних методів, що використовують обчислення.

Висновок: потрібно відразу відкидати спробу вирішити завдання ІІ «головою», тому що пройде час і вона вирішиться набагато швидше і простіше — завдяки зростанню потужності обчислень

Було багато прикладів, коли дослідники ІІ запізніло розуміли цей гіркий урок. Буде повчально розглянути деякі з найвидатніших прикладів.

В комп'ютерних шахах методи, які перемогли чемпіона світу Каспарова в 1997 році, ґрунтувалися на масивному, глибокому пошуку. В той час до них з тривогою ставилися більшість дослідників комп'ютерних шахів, які використовували методи, засновані на розумінні людиною особливої структури шахів. Коли більш простий, заснований на пошуку підхід зі спеціальним апаратним і програмним забезпеченням виявився набагато більш ефективним, дослідники відштовхуються від людського розуміння шахів, не визнали своєї поразки. Вони сказали: «В цей раз підхід грубої сили, може бути, і переміг, але це він не стане загальною стратегією і вже точно люди не грають в шахи таким чином. Ці вчені хотіли, щоб методи, що базуються на людському внесок, перемогли, і дуже розчарувалися, коли цього не сталося.

Висновок: проста груба сила обчислень візьме своє, рано чи пізно

Аналогічна картина прогресу в дослідженнях була помічена в комп'ютерних го, тільки з затримкою ще на 20 років. Спочатку величезні зусилля спрямовувалися на те, щоб уникати пошуку, використовуючи людські знання або особливості гри, але всі ці зусилля виявилися непотрібними або навіть гірше, як тільки пошук застосували ефективно і масштабно. Також важливо було використовувати навчання в процесі самостійної гри, щоб вивчити ціннісну функцію (як це було в багатьох інших іграх і навіть у шахах, тільки навчання не відігравало великої ролі у програмі 1997 року, яка вперше обіграла чемпіона світу). Навчання грі з самим собою, навчання в цілому, це як пошук, що дозволяє застосовувати величезні масиви обчислень. Пошук і навчання — два найважливіших класу технік, що задіюють величезні обсяги обчислень у дослідженнях ІІ. В комп'ютерному го, як і в комп'ютерних шахах, початкові зусилля дослідників були спрямовані на використання людського розуміння (так, щоб використовувати менше пошуку), і лише багато пізніше був досягнутий набагато більший успіх — за рахунок використання пошуку і навчання.

Висновок: пошук і навчання, підживлені обчислювальною потужністю, набагато перевершують спроби вирішити завдання «нестандартним підходом мислення»

В області розпізнавання мовлення, в 1970-х роках був проведений конкурс, спонсорований DARPA. Учасники представляли різні методи, які використовували переваги людського знання — знання слів або фонем, людського голосового тракту і так далі. По іншу сторону барикад були більш нові методи, статистичні по своїй природі і виконують більше обчислень, на основі прихованих моделей Маркова (HMM). І знову ж статистичні методи перемогли методи, засновані на знаннях людини. Це призвело до серйозних змін у всій обробці природної мови, поступово внедряющимся протягом десятиліть, поки в результаті статистика та обчислення не почали домінувати в цій області. Недавнє зростання глибокого навчання в області розпізнавання мовлення — це останній крок в цьому послідовному напрямку. Методи глибокого навчання ще менше покладаються на людські знання і використовують ще більше обчислень, поряд з навчанням на величезних наборах зразків, і видають приголомшливі системи розпізнавання мови.

Річард Саттон, канадський комп'ютерний вчений

Як і в іграх, науковці завжди намагалися створювати системи, які будуть працювати так, як вони представляли у своїх головах — вони намагалися помістити це знання в свої системи— але все це виходило вкрай непродуктивно, вчені просто витрачали час, поки — внаслідок закону Мура — ставали доступними все більш масивні обчислення і знаходили собі прекрасне застосування.

Висновок: одна і та ж помилка повторювалася протягом десятиліть

Схожа картина була і в області комп'ютерного зору. Перші методи сприймалися як пошук певних контурів, узагальнених циліндрів, або із застосуванням можливостей SIFT (масштабно-інваріантної трансформації ознак). Але сьогодні все це викинули в топку. Сучасні нейронні мережі з глибоким навчанням використовують тільки поняття згортки і певних інваріантів і працюють набагато краще.

Це великий урок.

В яку б область сягало око, ми скрізь продовжуємо робити одні і ті ж помилки. Щоб побачити це і ефективно побороти, потрібно зрозуміти, чому ці помилки так привабливі Ми повинні засвоїти гіркий урок, що побудова того, як ми думаємо, відштовхуючись від того, як ми думаємо, не спрацює в довгостроковій перспективі. Гіркий урок, заснований на історичних спостереженнях, показує, що: 1) дослідники ІІ часто намагалися вбудувати знання в своїх агентів; 2) це завжди допомагало в короткостроковій перспективі і приносило вченим задоволення; 3) але в довгостроковій перспективі все заходило в глухий кут і гальмувало подальший прогрес; 4) проривний прогрес неминуче приходив із застосуванням протилежного підходу, заснованого на масштабуванні обчислень за рахунок пошуку і навчання. Успіх був гіркуватого смаку і часто не засвоювався повністю, тому що це успіх обчислень, а не успіх орієнтованих на людину підходів.

З цього гіркого уроку слід засвоїти одне: величезну міць методів загального призначення, методів, які продовжують масштабуватися з зростанням обчислень, навіть коли доступні обчислення стають дуже великими. Два методи, які, схоже, масштабуються довільно таким чином — це пошук і навчання.

Друге, що слід винести з цього гіркого уроку, полягає в тому, що фактичний зміст розуму надзвичайно і невиправдано складний; нам варто перестати намагатися знайти прості способи осмислити зміст розуму, схожі на прості способи осмислення простору, об'єктів, множинних агентів або симетрій. Всі вони є частиною довільно складного зовнішнього світу. Нам не варто намагатися від них відштовхуватися, тому що їх складність нескінченна; нам варто будувати на мета-методи, які можуть знаходити і вловлювати цю довільну складність. Ці методи можуть знаходити хороші наближення, але пошук їх повинен здійснюватися нашими методами, а не нами. Нам потрібні агенти ШІ, які можуть відкривати так само, як ми, а не містити те, що ми відкрили. Побудова на наших відкриттях тільки ускладнює процес відкриття і пошуку.

Висновок: потрібно довіритися обчислень, а не намагатися калькувати людські роздуми і спроби пояснити складні методи відкриття та пошуку простими схемами; в довгостроковій перспективі спрацює перше, а не останнім.

Обговорити гіркий урок дослідників ШІ можна .