Найшвидший суперкомп'ютер у світі побив рекорд штучного інтелекту

На західному узбережжі Америки найцінніші компанії світу намагаються зробити штучний інтелект розумніші. Google і Facebook вихваляються експериментами з використанням мільярдів фотографій і тисяч високопродуктивних процесорів. Але наприкінці минулого року проект у східній частині штату Теннессі непомітно перевершив масштаби будь корпоративної лабораторії штучного інтелекту. І він був під управлінням уряду США.

Урядовий суперкомп'ютер США б'є рекорди

У рекордному проекті брав участь найпотужніший у світі суперкомп'ютер Summit, що знаходиться в Національній лабораторії Ок-Рідж. Ця машина отримала корону в червні минулого року, повернувши США титул через п'ять років, коли очолював список Китай. В рамках проекту дослідження клімату гігантський комп'ютер запустив по машинного навчання, який протікав швидше, ніж коли-небудь раніше.

«Саміт», що займає площу, еквівалентну двом тенісним кортам, задіяв у цьому проекті більше 27 000 потужних графічних процесорів. Він використовував їх потужність для навчання алгоритмів глибокого навчання, тією самою технологією, яка лежить в основі передового штучного інтелекту. В процесі глибокого навчання алгоритми виконують вправи зі швидкістю мільярд мільярдів операцій в секунду, відомої в суперкомп'ютерних колах як экзафлоп.

«Раніше глибоке навчання ніколи не сягав такого рівня продуктивності», говорить Прабхат, керівник дослідницької групи в Національному науково-обчислювальному центрі енергетичних досліджень в Національній лабораторії імені Лоуренса в Берклі. Його група співпрацювала з дослідниками в штаб-квартирі «Саміту», Національної лабораторії Ок-Рідж.

Як можна здогадатися, тренування ІІ самого потужного у світі комп'ютера була зосереджена на одній з найбільших проблем у світі — зміну клімату. Технологічні компанії навчають розпізнавати алгоритми особи або дорожні знаки; урядові вчені навчили їх розпізнавати погодні умови зразок циклонів з кліматичних моделей, які стискають столітні прогнози атмосфери Землі на три години. (Незрозуміло, правда, скільки енергії зажадав проект і як багато вуглецю було викинуто в повітря в цьому процесі).

Експеримент Summit має значення для майбутнього штучного інтелекту і кліматології. Проект демонструє науковий потенціал адаптації глибокого навчання до суперкомпьютерам, які традиційно моделюють фізичні і хімічні процеси, такі як ядерні вибухи, чорні діри або нові матеріали. Це також показує, що машинне навчання може отримати вигоду з більшої обчислювальної потужності — якщо ви зможете її знайти — і забезпечити прориви в майбутньому.

«Ми не знали, що це можна зробити в такому масштабі, поки не зробили це», говорить Раджат Монга, технічний директор Google. Він і інші «гугловцы» допомагали проекту, адаптувавши програмне забезпечення машинного навчання TensorFlow з відкритим вихідним кодом компанії для гігантських масштабів Summit.

Велика частина роботи по масштабуванню глибокого навчання проводилася в центрах обробки даних інтернет-компаній, де сервери працюють спільно над проблемами, розділяючи їх, тому що розташовані відносно відокремлено, а не пов'язані в один гігантський комп'ютер. Суперкомп'ютери ж ніби Summit мають іншу архітектуру зі спеціалізованими високошвидкісними сполуками, що зв'язують їх тисячі процесорів в єдину систему, яка може працювати як єдине ціле. До недавнього часу проводилося відносно мало робіт по адаптації машинного навчання для роботи з такого роду апаратними засобами.

Монга каже, що робота по адаптації TensorFlow до масштабів Summit також буде сприяти зусиллям Google по розширенню її внутрішніх систем штучного інтелекту. Інженери Nvidia також взяли участь у цьому проекті, переконавшись, що десятки тисяч графічних процесорів Nvidia в цій машині працюють без збоїв.

Пошук шляхів використання більшої обчислювальної потужності в алгоритмах глибокого навчання зіграв важливу роль в поточному розвитку технології. Та ж технологія, яку використовує для розпізнавання голосу Siri і автомобілі Waymo для зчитування дорожніх знаків, що стала корисною в 2012 році після того, коли вчені адаптували її для роботи на графічних процесорах Nvidia.

В аналізі, опублікованому в травні минулого року, вчені з OpenAI, дослідного інституту в Сан-Франциско, заснованого Илоном Маском, підрахували, що обсяг обчислювальної потужності в найбільших публічних експериментах з машинним навчанням подвоюється приблизно кожні 3,43 місяця з 2012 року; це буде означати 11-кратне збільшення за рік. Така прогресія допомогла бота з Alphabet перемогти чемпіонів у складних настільні та відеоігри, а також сприяла значному підвищенню точності перекладача Google.

Google і інші компанії в даний час створюють нові види мікросхем, адаптованих під ШІ, щоб продовжити цю тенденцію. Google заявляє, що «стручки» з тісно розташованими тисячами її чіпів ІІ — дубльовані тензорні процесори, або TPU — можуть забезпечувати 100 петафлопс обчислювальної потужності, що становить одну десяту від швидкості, досягнутої Summit.

Внесок проекту Summit в науку про клімат показує, як ІІ гігантського масштабу може поліпшити наше розуміння майбутніх погодних умов. Коли дослідники генерують столітні передбачення погоди, читання отриманого прогнозу стає складним завданням.«Уявіть, що у вас є фільм на YouTube, який йде 100 років. Немає ніякої можливості знайти всіх кішок і собак в цьому фільмі вручну», говорить Прабхат. Зазвичай для автоматизації цього процесу використовується програмне забезпечення, однак воно не зовсім. Результати Саміту» показали, що машинне навчання може робити це набагато краще, що повинно допомогти в прогнозуванні штормових впливів на зразок повеней.

За словами Майкла Прічарда, професора Каліфорнійського університету в Ірвайні, запуск глибокого навчання на суперкомп'ютерах — це відносно нова ідея, яка з'явилася в зручний час для дослідників клімату. Уповільнення темпів удосконалення традиційних процесорів призвело до того, що інженери стали оснащувати суперкомп'ютери зростаючим числом графічних чіпів, щоб продуктивність зростала більш стабільно. «Настав момент, коли більше не можна нарощувати обчислювальну потужність звичайним способом», говорить Прічард.

Цей зсув завів традиційне моделювання в глухий кут, а значить довелося адаптуватися. Також це відкриває двері для використання сили глибокого навчання, яке природним чином підходить для графічних чіпів. Можливо, ми отримаємо більш чітке уявлення про майбутнє нашого клімату.

А як би використовували такий суперкомп'ютер ви? Розкажіть .