Na styku dwóch światów

By opowiedzieć o rzeczywistości mieszanej (ang. mixed reality) należałoby najpierw dla porządku rozwiać wątpliwości związane z terminologią. Na początek wyobraźmy więc sobie, że współczesny entuzjasta nowych technologii może egzystować w dwóch rzeczywistościach: naszej, codziennej, jak i wirtualnej.

Ta pierwsza – zapewne ku niewypowiedzianemu smutkowi filozofów – dłuższego komentarza nie wymaga: zakładamy, że każdy zna ją całkiem dobrze. Drugą z kolei najprościej zdefiniować jako alternatywny i stworzony przez komputer świat, do którego trafiamy, korzystając ze specjalnych środków technicznych, np. okularów rzeczywistości wirtualnej. Warto też dodać, że rzeczywistość wirtualna – w przeciwieństwie do np. obrazu wyświetlanego na monitorze – stara się w maksymalnym możliwym stopniu zastąpić nam wrażenia płynące z codziennego świata, w praktyce mniej lub bardziej skutecznie nas od niego po prostu odcinając.

Gdzieś pomiędzy tymi dwiema płaszczyznami istnieje przestrzeń przejściowa – czyli wspomniana na samym początku rzeczywistość mieszana. Jeśli potraktować ją jako termin bardziej ogólny, okazuje się, że może ona przyjmować zróżnicowane formy, a ludzkość już od dłuższego czasu stara się zagospodarować możliwości, jakie daje takie miksowanie światów.

Najprościej podzielić mixed reality na kategorie dobrane według proporcji części składowych. Czasem cyfrowa naleciałość może być tylko akcentem – dodatkowym elementem, który w zamierzeniu ma pełnić ściśle określoną funkcję. Wskutek tego rodzaju ingerencji w obraz rzeczywistości powstaje rzeczywistość wzbogacona lub – co jest chyba bardziej popularnym określeniem – rozszerzona. Mamy tu do czynienia ze światem, jaki widzimy na co dzień, ale rozbudowanym np. o majaczące gdzieś w polu widzenia użytkownika cyfrowy zegar, kalendarz czy powiadomienia o przychodzącej poczcie. Tak mniej więcej miały wyglądać okulary Google Glass, które firma pokazała już w 2012 roku. Gadżet ten okazał się jednak niewypałem: kiepska bateria i niska rozdzielczość ekranu nie spełniły oczekiwań odbiorców, których wyobraźnia została rozpalona aż nazbyt skuteczną kampanią marketingową. Sprzęt wycofano z rynku w 2015 roku, a ostatnie sztuki w zawrotnych cenach można dziś znaleźć na portalach aukcyjnych. Urządzenie giganta odpowiedzialnego za najpopularniejszą wyszukiwarkę wcale jednak nie było pierwszą próbą nałożenia cyfrowej warstwy na to, co widzimy na co dzień.

Rzeczywistość wzbogacona już wcześniej stała się przedmiotem badań – a przodowały w tym głównie ośrodki naukowe. Pierwsze koncepcje tego rodzaju pojawiały się już w latach osiemdziesiątych, kiedy powstały m.in. nakładki informacyjne na mapy pogody czy nocnego nieba. Nowa koncepcja szybko przypadła do gustu wojskowym. Już w 1992 roku powstał system Virtual Fixtures, który pozwalał kontrolować ramiona robota i stosować przy tym różnego rodzaju nakładki na rzeczywisty obraz. Koncepcja ta spodobała się… wojskowym. Przez następne lata rozszerzona rzeczywistość pojawiała się w kolejnych projektach militarnych, z których zdecydowanie najciekawsze są projekty urządzeń o nazwie HUD, które asystowały pilotom myśliwców, nakładając na wizjer hełmu lub przeziernika w kokpicie niezbędne do pilotażu dane, jak choćby sztuczny horyzont.

O ile wojskowi i naukowcy z rozszerzonej rzeczywistości użytek robili latami, to tak naprawdę pierwszą poważną i cywilną implementacją tej technologii był HoloLens zaprezentowany światu przez Microsoft w 2015 roku. To był przełom pokazujący, że mieszanie światów może wyjść poza laboratoria i stać się czymś więcej niż militarną zabawką za grube miliony. Sprawiedliwie jednak przyznać trzeba, że i producent systemu Windows myślał przede wszystkim o nauce i biznesie, a popularyzacja świadomości istnienia tej zabawki dokonała się niejako przypadkiem i na gruncie wcześniejszej porażki Google’a. HoloLens powstał jako cyfrowy asystent, który miał pomagać w przemyśle, medycynie, technologii. To już nie była prosta nakładka czy wzbogacona rzeczywistość. Jeśli potraktować określenie mieszanej rzeczywistości tym razem w sensie bardziej ścisłym i spróbować zdefiniować ją jako technologię na równych prawach łączącą świat cyfrowy z rzeczywistym, to urządzenie Microsoftu byłoby sztandarowym przykładem wcielenia w życie tej definicji. HoloLens jako pierwszy pokazał, że koncepcja mieszanej rzeczywistości może mieć sens. „Koncepcja”, bo w istocie popularyzacja urządzenia nie udała się ze względu na jego bolączki, m.in. dwie godziny czasu pracy na wbudowanej baterii i bardzo ograniczone pole widzenia. Wady te stara się naprawić zaprezentowana światu niedawno druga edycja urządzenia. Póki co trudno powiedzieć, jak sobie poradzi – podobnie jednak jak poprzednik, również i w tym przypadku zestaw adresowany jest przede wszystkim do użytkownika biznesowego.

Cywile mieli trochę pecha, jeśli chodzi o dostęp do technologii rzeczywistości rozszerzonej lub mieszanej. Ich namiastkę zapewniają jednak zwyczajne smartfony – wystarczy tylko znaleźć odpowiednią aplikację. Interesującym przykładem zastosowania tego rodzaju funkcji są coraz bardziej popularne programy tłumaczące z Tłumaczem Google na czele. Korzystając z wbudowanego w telefon aparatu, program w czasie rzeczywistym odczytuje tekst, na który kierujemy obiektyw, i tłumaczy go na wybrany wcześniej język. Przetłumaczony napis pojawia się na ekranie smartfona w miejscu, w którym w świecie rzeczywistym widnieje oryginalny komunikat. Przykładów tego rodzaju mobilnego oprogramowania jest znacznie więcej – na ogół jest ono ściśle wyspecjalizowane i nakładki rozszerzonej rzeczywistości, które widzimy na smartfonie, dotyczą konkretnego działu wiedzy lub służą rozrywce. Prekursorem tego ostatniego jest wciąż działająca gra Ingress, która – korzystając z GPS-a – zmusza graczy do przemieszczania się po świecie rzeczywistym i wchodzenia w interakcje z faktycznie istniejącymi obiektami. To jednak półśrodki i zabawa ze skromnymi możliwościami współczesnych smartfonów. Wygląda na to, że przeciętnemu Kowalskiemu szansę poskromienia cyfrowych światów da dopiero Magic Leap.

To startup z 2010 roku, który na przestrzeni lat zdołał uzyskać finansowanie liczone w miliardach dolarów. Gotówkę przekazał m.in. Google, który nie zraził się fiaskiem okularów Glass i w temacie rozszerzonej rzeczywistości postanowił mimo wszystko pozostać. Dorzucili się też właściciele chińskiego serwisu Alibaba. Sam Magic Leap zadebiutował w wersji developerskiej w zeszłym roku i nie jest szeroko rozpowszechniony. Przyczyna jest prosta: oprogramowanie stworzone z myślą o nim dopiero jest tworzone, a na komercyjną wersję urządzenia poczekamy. Tym jednak, co już teraz wyróżnia urządzenie na tle konkurencji, jest fakt, że powstaje ono z myślą o rozrywce, nie biznesie.

Dzięki uprzejmości wrocławskiej firmy Nomtek mieliśmy okazję na własne oczy przekonać się, jak w praktyce sprawuje się ten zestaw mieszanej rzeczywistości. Wspomniane przedsiębiorstwo jest partnerem Magic Leap i producentem oprogramowania przeznaczonego na tę platformę – w zaciszu jej pomieszczeń powstaje software, które trafi na rynek wraz z konsumencką wersją okularów.

Zestaw Magic Leap One składa się z trzech elementów. Pierwszy to stacja bazowa, która wygląda jak dwa sklejone ze sobą discmany. Wgłębienie pomiędzy nimi pozwala założyć stację za pasek lub włożyć do kieszeni i w ten sposób zabezpieczyć urządzenie przed wypadnięciem. Można też nosić je jak torbę, na ramieniu, stosując w tym celu zwyczajny materiałowy uchwyt. Od znajdującej się tam elektroniki i niewymiennej baterii wychodzi przewód prowadzący do okularów. Te wyglądają trochę jak naszpikowane czujnikami gogle z mocowaniem biegnącym dookoła głowy. Pełni ono podwójną funkcję: stabilizuje urządzenie na głowie i równocześnie jest stelażem, na którym rozłożono głośniki odpowiadające za dźwięk przestrzenny. Same okulary to przede wszystkim dwa półprzezroczyste ekrany o horyzontalnym polu widzenia 40 stopni i rozdzielczości HD każdy. Uzupełnieniem całości jest bezprzewodowy i stosunkowo prosty pad ze spustem, przyciskami funkcyjnymi, panelem dotykowym i pierścieniem LED. Jak widać, to najbogatsze ze stworzonych dotychczas urządzeń rozszerzonej rzeczywistości – nie ma w tym jednak nic dziwnego, zważywszy na to, że od początku projektowano je z myślą o elektronicznej rozgrywce.

Przygotowanie zestawu do pracy to stosunkowo prosta rzecz. Wystarczy Magic Leapa One włączyć, a następnie… porozglądać się po pomieszczeniu. W tym czasie sprzęt zapamięta rozkład ścian, ułożenie mebli i wysokość danego lokalu. Tak opracowana mapa siatkowa zostanie potem wykorzystana do stworzenia otoczenia w grze, w konsekwencji zaś nasz pokój posłuży np. za pole bitwy w starciu z robotami, które dzięki wcześniejszemu przygotowaniu będą omijać ściany i biurko. By operacja przebiegła sprawnie, zestaw używa szeregu czujników umieszczonych w okularach. To nie tylko kamery pracujące w świetle widzialnym i podczerwieni, ale i np. żyroskopy odpowiadające za precyzyjny odczyt pozycji zestawu.

Podczas testów urządzenia mieliśmy okazję zobaczyć w akcji kilka tytułów gier stworzonych przez firmy rozsiane po całym świecie. Pierwszą z nich były znane z innych platform Angry Birds. W wydaniu na platformę Magic Leap gra zachowała swoje pierwotne zasady, zmieniając jednak formę. Zasadniczo cel jest taki sam: strącić z konstrukcji zbudowanych przez zieloną trzodę wszystkich jej mieszkańców. O ile w przypadku telefonu celujemy w dwóch wymiarach, tutaj to samo należy robić w wymiarach trzech – do tego w zaciszu własnego pokoju. Po uruchomieniu gry w miejscu przez nas wskazanym pojawia się konstrukcja, którą burzymy, celując z procy i strzelając kolejnymi ptakami. Wygląda to niesamowicie: wspomniana wieża jest zakotwiczona w konkretnym miejscu i zachowuje się tak, jak każdy inny rzeczywisty obiekt ustawiony w pomieszczeniu. Możemy wokół niej spacerować, zbliżać się, oddalać, nawet przyklęknąć i z bliska podziwiać detale – budowla cały czas zachowuje swoją pozycję. Wrażenia autentyczności dopełnia dobrze działająca fizyka: naciąganie procy, strzelanie i obserwowanie skutków ostrzału sprawia niekłamaną przyjemność.

Widzieliśmy również inne gry. Jedną z ciekawszych jest bez wątpienia B-all One, czyli powstająca we Wrocławiu próba przeniesienia na Magic Leapa popularnego squasha. Kontroler w tym wypadku zamienia się w rakietkę, którą odbijamy od ścian wirtualną piłkę. To interesujący tytuł z dwóch powodów. Po pierwsze pokazuje, jak precyzyjne jest urządzenie. Bez problemu możemy tu nie tylko odbijać lecący w naszą stronę z dużą prędkością obiekt, ale i świetnie widać, w jak zróżnicowany sposób piłka reaguje, padając na różne nierówności, jak choćby ciągi wentylacyjne, urządzenia biurowe czy nawet zawieszone na ścianach obrazy. Okazuje się, że Magic Leap jest wystarczająco precyzyjny w mapowaniu pomieszczenia, by wyłapać takie detale. Wyjątkowo dynamiczna rozgrywka ujawnia też – co jest drugim spostrzeżeniem – że zestaw ma swoje ograniczenia. Stosunkowo wąskie pole widzenia sprawia, że im szybciej porusza się piłka, tym trudniej utrzymać ją „na oku”.

O wiele spokojniejszym tytułem jest Create – to z kolei wariacja na temat popularnego na pecetach Minecrafta. Podobnie jak w przypadku starszego kuzyna tytuł pozwala grającemu popuścić wodze fantazji i zwyczajnie bawić się poprzez rozstawianie po pokoju gotowych elementów i tworzenie własnego świata. To zarówno gotowe i często animowane obiekty, jak na przykład drzewa, które pozwalają zamienić kilkoma ruchami biurko w bajkowy las, jak i klocki, z których składamy sobie większą, działającą zgodnie z prawami fizyki całość. Tutaj ograniczeniem jest kreatywność i liczba elementów, które możemy rozłożyć w czterech pokojach.

Wyjątkowym doświadczeniem było odpieranie inwazji robotów z innego wymiaru. Magic Leap tworzy tu na jednej z wybranych ścian portal, przez który przedostają się blaszani przeciwnicy. Naszym zadaniem jest unicestwianie kolejnych fal wrogów i równocześnie unikanie prowadzonego przez nich ognia. Zabawa jest tak wciągająca, że w pewnym momencie zapomnieliśmy, iż rzeczone przejście jest w istocie cyfrowym obiektem naniesionym na litą ścianę – co skończyło się próbą przekroczenia go i bolesnym kontaktem z cegłami. Na szczęście bez szkód dla sprzętu i redakcji.

Prezentację zakończył pokaz praktycznych możliwości zestawu Magic Leap. To, że urządzenie powstało z myślą o rozrywce, nie znaczy, że nie można mu znaleźć bardziej praktycznych zastosowań. Kilka ruchów padem pozwala sprawdzić na przykład, jak w salonie będzie wyglądała nowa sofa, powiesić na ścianie kilka wirtualnych obrazów, zegary, rozstawić nowe lampy itd. Aranżacja wnętrz może okazać się całkiem prostym zajęciem. Ciekawym doświadczeniem było również przeglądanie statystyk, powtórek i animacji z meczów NBA. To ostatnie należy traktować jako ciekawostkę, ale już czytanie animowanych komiksów, które widzieliśmy pod koniec kilkugodzinnego spotkania, wydaje się zajęciem naprawdę ciekawym.

Współczesne zestawy rozszerzonej rzeczywistości – jeśli możemy oceniać, przypatrując się urządzeniu Magic Leap – to interesująca alternatywa dla rzeczywistości wirtualnej. Na pewno są prostsze w obsłudze i mniej zajmujące. Cieszy fakt, że żeby wykorzystać ich możliwości, wystarczy tak naprawdę zwykły pokój, i że nie musimy się nawet specjalnie przygotowywać do zabawy. Ot, kilka kroków dookoła pomieszczenia. Póki co jednak i ograniczenia są dość wyraźne. W szybkich tytułach doskwiera wąskie pole widzenia, również czas pracy na baterii, który wynosi do trzech godzin, może popsuć dłuższą zabawę. Może przy okazji następnej generacji należałoby pomyśleć o większej rozdzielczości? Co prawda dzięki projekcji bezpośrednio na źrenicę oka piksele składające się na obrazy HD nie rażą tak bardzo, a efekt jest zaskakująco przyjazny, jednak więcej przecież nie zaszkodzi.

Największą zaletą mieszania dwóch rzeczywistości jest jednak fakt, że tak naprawdę nie musimy opuszczać żadnej z nich. Polem do zabawy czy pracy jest w tym przypadku świat wokół nas. Póki co to pokój, ale plany na przyszłość są obiecujące. Już teraz wiadomo, że giganci stojący za Magic Leapem i HoloLens planują nie tylko stworzenie kolejnych generacji swych zestawów, które będą bez problemu działać na zewnątrz, ale i powołanie do życia ogólnoświatowej mapy przestrzeni publicznej. W ten sposób ominiemy potrzebę skanowania świata wokół nas i na wyciągnięcie ręki będzie stosowanie np. wzbogaconego opisu przestrzeni, wirtualnych drogowskazów czy nawet zwyczajna rozrywka i wspólne granie pomiędzy nieświadomymi niczego przechodniami. To jednak przyszłość. Póki co Magic Leap, a kto wie – może i HoloLens 2 – muszą zadebiutować w komercyjnych, bardziej przystępnych cenowo wersjach. Obecnie to wyjątkowo drogie i przeznaczone raczej dla producentów oprogramowania gadżety. Tańsze, komercyjne wersje powinny wejść do sklepów za co najmniej dwa lata. Obstawiamy, że dla świata elektronicznej rozrywki i nie tylko będzie to bardzo ważne wydarzenie.

CPU: OMAP 4430, dwurdzeniowy
GPU: brak danych
RAM: do 2 GB
Pamięć wewnętrzna: do 16 GB
Łączność: Wi-Fi 802.11 b/g, Bluetooth, microUSB
Zasilanie: bateria 570 mAh
Waga: 36 g
Okulary: pojedynczy ekran 640x360, dźwięk przekazywany przez drgania kości czaszki
Sterowanie: panel dotykowy, aplikacja na smartfona, komendy głosowe

Na długo przed tym, jak na scenę weszła rzeczywistość wirtualna i mieszana, pojawił się pomysł, by elektronika całkowicie pośredniczyła w ukazywaniu rzeczywistości oczom użytkownika – przy okazji wzbogacając ją w określony sposób. W latach siedemdziesiątych powstał np. hełm zdolny w czasie rzeczywistym wzbogacać obraz, stosując w czasie rzeczywistym technikę HDR, co pozwalało lepiej widzieć jasne i ciemne obszary występujące obok siebie. Na dobrą sprawę jednak podobnego rodzaju urządzenia powstawały już wcześniej – amerykańscy żołnierze korzystali z pierwszej generacji noktowizorów już podczas wojny w Wietnamie, a wykorzystujące podczerwień konwertery obrazu były eksperymentalnie używane przez niemieckich pancerniaków już podczas II wojny światowej.

CPU: IA-32, 1 GHz + jednostka HPU
GPU: brak danych
RAM: 2 GB
Pamięć wewnętrzna: 64 GB
Łączność: Wi-Fi 802.11ac, Bluetooth, microUSB
Zasilanie: niewymienna bateria, do 2-3 godzin pracy
Waga: 579 g
Okulary: dwa półprzezroczyste ekrany 1268x720, pole widzenia 35 stopni horyzontalnie i 17,5 stopni wertykalnie, dźwięk przestrzenny
Sterowanie: gesty, komendy głosowe

CPU: Qualcomm Snapdragon 850 + jednostka HPU
GPU: Adreno 630
RAM: 4 GB
Pamięć wewnętrzna: 64 GB
Łączność: Wi-Fi 802.11ac, Bluetooth, USB-C
Zasilanie: wbudowana bateria, do 2-3 godzin pracy
Waga: 566 g
Okulary: dwa półprzezroczyste ekrany 1268x720, pole widzenia 43 stopni horyzontalnie i 29 stopni wertykalnie, dźwięk przestrzenny
Sterowanie: gesty, komendy głosowe, śledzenie ruchu gałek ocznych

CPU: Nvidia Parker (2 rdzenie Denver 2.0 + 4 rdzenie ARM Cortex A57)
GPU: Nvidia Pascal (256 rdzeni CUDA, wsparcie dla OpenGL 4.5, Vulcan, OpenGL ES 3.3+)
RAM: 8 GB
Pamięć wewnętrzna: 128 GB
Łączność: Bluetooth 4.2, WiFi 802.11ac/b/g/n, USB-C
Zasilanie: niewymienna bateria litowo-jonowa, do 3 godzin pracy
Waga jednostki centralnej: 415 g
Okulary: dwa półprzezroczyste ekrany 1280 x 960, pole widzenia 40 stopni horyzontalnie i 30 wertykalnie, dźwięk przestrzenny, waga 325 g
Sterowanie: kontroler haptyczny, 6DoF – śledzenie pozycji i orientacji, trzy przyciski + touchpad, pierścień LED, wbudowana bateria, do 7,5 godzin pracy; rozpoznawanie gestów, śledzenie pozycji.

Zmieszane światy w kieszeni
By zobaczyć, jak wygląda rzeczywistość rozszerzona, wystarczy pobrać jedną z wybranych aplikacji. Przedstawiamy trzy programy, które znajdują się w sklepie Google Play. Pierwszy z wymienionych jest płatny, bez większych problemów można jednak znaleźć darmowe odpowiedniki – niestety jednak wyraźnie gorsze.

PeakVisor
Program, który pozwala identyfikować szczyty górskie. Korzystając z GPS-u, określa pozycję użytkownika, następnie odczytuje za pomocą aparatu kształt łańcucha górskiego i porównuje go z internetową bazą. Nazwy szczytów pojawiają się na ekranie smartfona nad poszczególnymi wierzchołkami.

Tłumacz Google
Aplikacja służąca do tłumaczenia fraz między różnymi, wybranymi przez użytkownika językami. Jedną z jej funkcji jest translacja „w locie” – program korzysta tu z wbudowanego w smartfona aparatu. Rozpoznaje tekst, na który skierujemy obiektyw, a następnie podmienia go na ekranie urządzenia na przetłumaczoną frazę.

Pokémon GO
Bardzo popularna mobilna gra, która jest przykładem specyficznego użycia rzeczywistości rozszerzonej. Obiekty istniejące w rzeczywistości zostały naniesione wraz z koordynatami GPS na mapę gry. Bawimy się tu, poruszając się z telefonem w ręku po okolicy, a mijane przez nas np. rzeźby lub interesujące budynki pojawiają się na ekranie pod postacią aren lub tzw. pokéstopów.