Змішана реальність — майбутнє обчислювальної техніки?

Алекс Кипман добре знає, що таке апаратне забезпечення. Приєднавшись до Microsoft 16 років тому, він був головним винахідником більше сотні патентів, включаючи новаторську технологію виявлення руху XboxKinect, яка проклала шлях до деяких функцій в його останньому творі — голографічного 3D-гарнітури, названої HoloLens.

Але сьогодні, сидячи в своєму офісі в штаб-квартирі Microsoft в Редмонді, Вашингтон, Кипман не говорить про апаратне забезпечення. Він обговорює відносини між людьми і машинами з більш широкої філософської точки зору. Незалежно від того, співпрацюємо ми з машинами через екрани або речі, які сидять у нас на головах, для нього це лише «момент часу».

Народився в Бразилії Кипман, який є технічним спеціалістом в WindowsandDevicesGroup при Microsoft, з ентузіазмом пояснює, що ключовою перевагою технології є її здатність заміщати час і простір. Він наводить приклад «змішану реальність» (MR, mixedreality), термін Microsoft, яким позначають суміш реального світу з генерується комп'ютером графікою. На думку Кипмана, одного разу вона незримо об'єднає доповнену і віртуальної реальності. Він каже, що серед найбільш вражаючих особливою MR — потенціал розв'язати «надсили заміщення» в реальному світі.

Люди надають особливу цінність почуттю, яке ви відчуваєте, коли фізично поділяєте простір з іншою людиною. Саме тому Еліс Бонасио з FastCompany вирішила взяти інтерв'ю у Кипмана лицем до лиця. «Але якщо б ви мали можливість здійснити такого роду взаємодія, не витрачаючи час на переїзд, — каже Кипман, — життя було б набагато цікавіше». Далі від першої особи.

«Моя дочка може спілкуватися зі своїми братами в Бразилії кожні вихідні, а моїм співробітникам не потрібно подорожувати по світу, щоб робити свою роботу», продовжує він. «З появою штучного інтелекту ми могли б продовжувати розмову, але мене вже тут не було б. Одного разу ви і я будемо розмовляти, ви будете на Марсі, а я вже буду сто років як мертвий. Наша робота техніків — прискорити настання майбутнього і постійно задаватися питанням, як це зробити».

Microsoft робить ставку на змішану реальність, щоб допомогти нам потрапити в майбутнє. І тут ми знову повертаємося до апаратного забезпечення. Доступність потрібного пристрою за потрібною ціною буде фактором, який визначить, чи візьмуть споживачі змішану реальність (хоча одні пристрої самі по собі навряд чи почнуть революцію MR, як показав приклад VR). Хоча HoloLens є єдиним автономним голографічним комп'ютером на ринку (на відміну від OculusRift або HTCVive, якщо не потрібно прикріплювати кабелями до зовнішнього пристрою), розумні окуляри вартістю 3000 доларів служать більше доказом концепції, ніж споживчим продуктом.

Тепер Microsoft хоче це змінити. Цієї осені компанія запускає гарнітуру Windows Mixed Reality Headsets, яка стане першою серйозною спробою продати концепт широкій публіці. Хоча цей пристрій поки все ще ближче до ідеального гібриду доповненої і віртуальної реальності, у ньому вже втілені головні фішки HoloLens — начебто просунутих можливостей відстеження та картування — і запропонована доступна ціна в 300-500 доларів. Гарнітура буде доступна в різних формах від різних партнерів з апаратного забезпечення, включаючи Dell, HP і Samsung, і дозволить користувачам створювати тривимірні простору, які можна персоналізувати за рахунок медіа, додатків, вікон браузера і іншого.

Як вважає Microsoft, впровадження платформи, що дозволяє будь-якій людині в цілому створювати свій власний цифровий світ, — це перший крок у досягненні того самого стрибка у світ завтрашнього дня. «Якщо ви вірите, як ми, що змішана реальність — це неминуча наступна на черзі тенденція в обчислювальній техніці, доведеться підключити продуктивність, творчість, освіта і цілий новий спектр розваг, від казуальних до хардкорних ігор», говорить Кипман.

Удосконалюючи змішану реальність

Кипман не єдиний, хто оптимістично ставиться до змішаної реальності. Каліфорнійський стартап Avegant працює над платформою, яка представляє докладні тривимірні зображення, нашаровуючи багато фокальних площин, які компанія називає технологією «світлового поля». «Застосування нескінченні», говорить CEO Avegant Йорг Тьюис. «Від дизайнерів і інженерів, які безпосередньо маніпулюють 3D-моделями за допомогою своїх рук, до професорів медицини, що ілюструють різні хвороби серця на прикладі практично живої моделі своїм студентам. В домашніх умовах користувачів можуть оточити віртуальні полиці з їх улюбленими продуктами. Змішана реальність дозволяє людям безпосередньо взаємодіяти зі своїми ідеями замість екранів і клавіатури».

Щоб все це робити, пристрої змішаної реальності повинні підтримувати віртуальні зображення, які будуть здаватися відрізнятись від реального світу і цільно з ним взаємодіяти. За словами професора Грегорі Уелча, комп'ютерного вченого з Університету Центральної Флориди, більшість технологій, розроблених до нинішнього моменту, поки не досягли такої рівноваги. «Змішана реальність особливо важка, тому що немає ні приховує недосконалості віртуального, ні вражаючої чистоти реального».

Разом з колегами він з'ясував, що в деяких випадках відносно широке поле зору реального світу, яке забезпечує HoloLens, може шкодити важливого відчуття присутності. У той час як здорова людина бачить на 210градусів, дисплей HoloLens збільшує центр вашого поля зору на 30 градусів або близько того. В експериментах, які проводив Уелч і його команда, розрив між реальним і розширеним ландшафтом зменшував відчуття занурення і присутності.

«Це означає, що якщо ви дивитеся на віртуального людини перед собою (як це було в нашому експерименті), ви побачите тільки частину його, яка плавала у просторі перед вами», говорить Уелч. «Вам потрібно буде рухати головою вгору і вниз, щоб «намалювати» сприйняття його, так як ви не можете побачити всього людини відразу, якщо не подивіться на нього здалеку (він буде здаватися менше). Проблема в тому, що ваш мозок постійно бачить «звичайний» світ навколо себе, і це «переписує» безліч типів сприйняття, які ви могли б в іншому випадку мати».

Далі Уелч пояснює, що в демонстраціях, які ми бачимо сьогодні з HoloLens або Apple ARKit, наприклад, віртуальні об'єкти можуть бути зафіксовані на плоскій поверхні, але крім базової форми і візуального вигляду програмне забезпечення зазвичай не розпізнає багато важливі фізичні характеристики об'єкта, такі як вага, центр мас і поведінку, або поверхня, на якій він перебуває, — не кажучи вже про який-небудь активності в реальному світі, яка відбувається навколо об'єктів.

«Якщо я випадково скину пару кубиків з віртуального столу, вони не «впадуть», досягнувши краю, і не відскочать, як слід було б очікувати, виходячи з їх типу і матеріалу підлоги», пояснює він.

У роботі, яку Уелч написав у співавторстві з професором Джеремі Бэйлинсоном, директором Virtual Human Interaction Lab (VHIL) при Стенфордському університеті, вони виклали деякі результати своїх досліджень, які показують, що віртуальне вміст має набагато більш високу цінність, коли демонструє поведінку, яку ми очікуємо від фізичних об'єктів у реальному світі.

«У своїй лабораторії ми починаємо використовувати HoloLens, щоб зрозуміти взаємозв'язок між досвідом доповненої реальності і подальшим психологічним ставленням щодо самого фізичного простору», говорить Бэйлинсон. Наприклад, він пояснює, що його експерименти показують, що віртуальні люди, які «проходять немов примари» через реальні об'єкти, а не обходять або намагаються їх уникнути, сприймаються як менш «реальні», ніж ті, які підкоряються законам фізики.

Досягнення в змішаної реальності, швидше за все, приведуть до того, що гарнітури стануть доступнішими і легше, але також можливо, що принаймні деякі з наших майбутніх взаємодій з цією технологією не будуть включати переносну електроніку зовсім. «Просторова доповнена реальність» (SAR), наприклад, розроблена Уэлчем багато років тому, дозволяє використовувати проектори для зміни зовнішнього вигляду фізичних об'єктів навколо вас, таких як матеріал стола або колір кушетки — без очок.

«Звичайно, SAR не буде працювати у всіх ситуаціях, але коли це буде, переконливо і легко», говорить Уелч. «Якщо щось чарівне в тому, коли світ навколо вас змінюється, а ви не маєте до цього відношення — ні гарнітури, ні телефону, нічого. Ви просто існуєте в фізичному світі, який змінюється практично навколо вас».

Віртуальний інструмент для спільної роботи в реальному світі

Нонни де ла Пенья, засновник та головний виконавчий директор компанії Emblematic, допомогла поставити використання віртуальної реальності в якості засобу звітності і для розповіді історій. Її називають «хрещеною матір'ю віртуальної реальності», і вона вважає, що технології занурення ближче всіх можуть уявити вигляд аудиторії — тобто помістити її на місце оповідача. Вона вважає, що у HoloLens є потенціал збільшити якість і глибину нашого розуміння світу, частково завдяки методу об'ємного захоплення, який створює тривимірну модель об'єктів за рахунок безлічі камер і зеленого екрану. «Microsoft почала пропонувати реалізм високого рівня, використовуючи об'ємний захоплення, і його тут же підхопили журналісти», говорить де ла Пенья. Власне творіння Emblematic, After Solitary, це удостоєний нагород документальний фільм, створений у партнерстві з PBS і KnightFoundation, в роботі над яким використовувалася ця техніка, щоб передати суть психологічної травми від тривалого тюремного ув'язнення.

найголовніше зміна, яка обіцяє змішана реальність, полягає в тому, що контент не буде прив'язаний до якогось конкретного пристрою. MR використовує будівельні блоки (об'єкти реального світу, або створені комп'ютером) для створення середовищ, в які входять люди для подальшої взаємодії. У такому контексті пристрої стають вікном, яке дозволяє вам заглядати в ці світи і отримувати доступ до них, а не сховище, в якому зберігається ваш персональний контент (зразок вашого смартфона).

Кипман зазначає, що в цих загальних реальних/віртуальних середовищах наші відносини з обчислювальною технікою змінюються від особистих до спільних — від пристроїв, які зберігають ваш власний індивідуальний контент, до спільних просторів для творчості, опосередкованим технологіями. Кипман думає, що це спричиняє глибокі наслідки для того, як ми будемо розробляти програми в майбутньому. Якщо, наприклад, ви створюєте віртуальну статую і ставите її у вигляді голограми поверх столу в своїй вітальні, інший чоловік з пристроєм змішаної реальності побачить вашу статую, коли увійде в кімнату, і перемістить її, якщо захоче.Тому що вміст зберігається не у вашому пристрої, а в самому середовищі, визначаючи об'єкти (як реальні, так і віртуальні), її населяють.

«Ці концепції вимагають переосмислення операційної системи в контексті змішаної реальності», говорить Кипман. «Ви повинні побудувати фундамент, який переходить з кремнію в хмарну архітектуру, щоб усвідомити власний перехід від персональних обчислень до спільних. На це потрібен час», посміхається він.