Яку користь можуть принести нейромережі для кіно, відеоігор і віртуальної реальності

З розвитком технологій нейромереж і машинного навчання, розширюється і сфера їх застосування. Якщо раніше нейромережі використовувалися виключно для проведення складних математичних, медичних, фізичних, біологічних розрахунків і прогнозування, то зараз ці технології набувають широкої популярності в більш «приземленою» середовищі – у сфері розваг. Роблячи перші кроки в цьому напрямку, вони вже здатні демонструвати дивовижні й інколи навіть видатні результати. Сьогодні розберемо кілька наочних прикладів.

Процес ремастерінга відео настільки складний і времязатратный, що багато шедеври світової класики ми, можливо, так і не побачили б з новою, сучасною, чіткої і соковитою картинкою. Однак у світі повно розумних фанатів і ентузіастів, які відмінно розбираються в нових технологіях і, зокрема, технології нейромереж і машинного навчання, за допомогою яких можна досягти вражаючих результатів навіть у домашніх умовах. Наприклад, користувач YouTube Стефан Румен з псевдонімом CaptRobau вирішив продемонструвати деякі можливості нейромереж в обробці відео старого фантастичного серіалу.

Більш ранній його роботою є Remako Mod — «HD-ремейк класичної і дуже популярної японської RPG Final Fantasy VII під назвою. Для цього він використовував ІІ-алгоритм AI Gigapixel, з допомогою якого зміг масштабувати зображення оригінальної картинки в 4 рази, перевівши її в HD-дозвіл без будь-яких істотних змін у первісному арт-дизайні. Таким чином, поки ви чекатиме чергове десятиліття до того моменту, коли японський розробник і видавець комп'ютерних ігор Square Enix офіційно випустить ремастерінг, мабуть, однією з кращих частин даної ігрової серії, можете спробувати мод Стефана Румена самостійно, скачавши його .

До речі, останнім часом технології нейромереж для ремастерінга старих ігор і приведення їх до більш актуального і сучасного вигляду без зміни загальної оригінальної концепції стало справжнім трендом серед різних мододелов. Приміром, не так давно ми розповідали про технології ESRGAN (Enhanced Super Resolution Generative Adversarial Networks), з допомогою якої реалізуються технології масштабування зображень з 2-8-кратним збільшенням якості. Алгоритмом «згодовують» оригінальне зображення з низьким дозволом, після чого він не тільки збільшує вихідну роздільну здатність останнього, але ще і підвищує якість зображення, подрисовывая реалістичні деталі і роблячи текстури «більш природними».

Порівняння якості текстур: зліва оригінальна текстура з гри Morrowind, праворуч – оброблена нейромережею

Персонаж з Doom (зліва — було, праворуч — стало)

Обробка фону в грі Resident Evil 3

Почитати більш детально і подивитися приклади можна перейшовши .

Як би те ні було, у перервах між ремастерінг «Сьомий Фіналки» Стефан Румен вирішив зайнятися іншим проектом – використовувати ту ж технологію машинного навчання, але вже для обробки кадрів класичного фантастичного серіалу 90-х років. В якості об'єкта для експериментів Румен вибрав «: Далекий космос дев'ять».

Масштабування «живого зображення» ТБ-серіалу за складністю дуже відрізняється від масштабування заздалегідь отрендеренного зображення Final Fantasy VII, зазначає автор, тому фінальний результат хоч і виглядає помітно краще вихідних матеріалів в низькому дозволі, але ця картинка все ще далека від того ідеалу, про який ви могли мріяти ще з моменту появи на ринку перших Blu-ray-програвачів. Зрідка на екрані з'являються невеликі «артефакти». Але, повторимося, в цілому все виглядає більш ніж гідно. А, загалом, дивіться самі.

Для даного проекту Румен також використовував алгоритм AI Gigapixel, який був навчений правці зображень на базі реальних фотографій. Автор зазначає, що нова картинка була отримана у форматі 1080p і 4k, але так як у Румена немає телевізора або монітора з роздільною здатністю 4K, адекватно оцінити 4K-варіант він не може.

На жаль, побачити серіал цілком в Full HD-якості не можна. Процес обробки всього вихідного матеріалу зайняв би дуже багато часу, тому Румен для демонстрації використовував лише окремі кадри з різних серій. За його словами, він зайнявся цим проектом лише з однієї причини – показати, що це дійсно можливо. На його думку, ціла команда професіоналів, що працює у великій телевізійної компанії і має в своєму розпорядженні більш зручний і потужний для такої роботи комп'ютерне обладнання зможе впоратися з цим завданням набагато краще.

Використання нейромереж для спрощення роботи по обробці старих зображень з відеоігор і фільмів є не єдиними сферами, де такі технології здатні проявити свої таланти. У сучасному світі, де все більшу популярність набувають оглядові панорамні камери, здатні виробляти з кутом 360 градусів, а також гарнітури віртуальної реальності, розробники почали активно досліджувати потенціал панорамної зйомки.

Однією з останніх розробок в цьому напрямку є нейромережа, здатна озвучувати панорамні статичнізображення. Її авторами є фахівці у сфері машинного навчання з Массачусетського, Колумбійського університетів і Університет Джорджа Мейсона.

Створений алгоритм визначає тип оточення і об'єкти на фотографії, а потім добирає і розставляє звуки використовується бази даних у відповідності з просторовим розрахунком відстані до їх джерел на цьому зображенні. Завдяки цьому панорамне зображення набуває реалістичний об'ємний звук, що дозволяє абсолютно по-новому оцінити представлений знімок.

На думку розробників цієї нейромережі, технологія може знайти інтерес серед розробників VR-контенту (фільмів та ігор). Останнім у цьому випадку не доведеться накладати всі звуки на панорамне зображення вручну, нейромережа зможе все це зробити самостійно.

Підписуйтесь на наш . Там можна знайти матеріали, які публікуються на сайті.