Zagęszczanie ruchów

S polszczywszy termin motion capture, otrzymamy „przechwytywanie ruchu”. To kompaktowa, ale bardzo adekwatna definicja techniki, którą od lat doskonalą specjaliści od filmu i gier wideo, a która polega na rejestrowaniu motoryki aktora i przenoszeniu jej na ekran monitora. Choć jeszcze kilkanaście lat temu drewniana gestykulacja, pokraczny chód i kreskówkowa mimika były na porządku dziennym, rewolucję przyniósł rozwój medycyny.

W rozmowie z PC Formatem Adrian Perdjon, aktor i szef studia mocap.pl, tłumaczy, że w tym wypadku rozrywka zaczerpnęła z nauki: – Początków motion capture możemy upatrywać w badaniach nad anatomią i ruchem szkieletu – tłumaczy. Emitujące wiązki podczerwone kamery oraz odbijające światło, przyklejone do kości i stawów markery (znaczniki), to dziś standard w przemyśle filmowym. Ale pierwotnie korzystały z nich uniwersytety i szpitale, diagnozując zaburzenia motoryki (np. dziecięce porażenie mózgowe), oraz sztaby sportowców, dążące do poprawy osiągnięć swych podopiecznych.

Oczywiście Fabryka Snów od dawna marzyła o wiernym odtworzeniu gestów i skinień aktorów w animacji (odsyłamy zresztą do ramki), ale aktorzy ubrani w obcisłe, oblepione znacznikami kostiumy pojawili się na planach dopiero w latach 90. minionego wieku. Mocap popularyzowali wówczas choćby muzycy – wpierw Peter Gabriel, który już w 1992 zaprezentował teledysk do piosenki „Steam”, w rytmie której po dżungli pląsały komputerowo wygenerowane modele jaskiniowców. Cztery lata później z metody skorzystał Michael Jackson, przedstawiając na ekranie – przy okazji wideoklipu do „Ghosts” – tańczący w takt przeboju szkielet.

Rozkwit dziedziny przypadł na początek XXI wieku, a wśród jej pionierów należy wymienić „Władcę pierścieni” Petera Jacksona (odtwórca postaci Golluma, Andy Serkis, stał się później ambasadorem technologii i założycielem The Imaginarium, jednego z największych studiów mocapowych na Wyspach Brytyjskich). W podobnym czasie debiutowało Final Fantasy: The Spirits Within, film, którego wirtualni „aktorzy” mieli być wykorzystywani również przy przyszłych projektach. Ze zmiennym szczęściem flirtowali z motion capture Robert Zemeckis („Ekspres polarny”, „Beowulf”) oraz bracia Wachowscy (trylogia „Matrix”).

Nim jeszcze aktorzy wejdą na plan, trzeba rozrysować tzw. storyboard – pozbawiony dialogów komiks, który posłuży później realizatorom za zestaw wskazówek. No i przesłać ekspertom od motion capture listę performerów i kaskaderów, których należy zatrudnić, oraz wykaz rekwizytów, jakie będą potrzebne podczas sesji. Niekiedy nagranie wymaga zresztą dodatkowych przygotowań; nieodzowne bywa – chociażby – przygotowanie zawczasu szczudeł lub obciążników. Perdjon: – Przy realizacji gry Bound aktorka miała wcielić się w postać w zaawansowanej ciąży. Początkowo efekty były takie sobie, dlatego postanowiliśmy przyczepić do jej brzucha ciężarki gimnastyczne, które dodały dodatkowe 5 kilogramów. Całkowicie zmieniła się wówczas praca szkieletu.

Ale zdradliwy bywa nawet etap poszukiwania obsady. We wspomnianego Geralta wcielało się wielu ludzi: głos podkładał mu Jacek Rozenek, aktorzy dramatyczni gestykulowali podczas cutscenek (Perdjon wspomina, że w scenie narady nad mapą odgrywał po kolei… wszystkich uczestników dyskusji!), a przy animacjach walk uwijał się kaskader i fechmistrz Maciej Kwiatkowski. Niekiedy obok reżysera i aktorów na planie stawia się zresztą ekspert z zewnątrz. Podczas nagrań do Battlefielda 3 ekipie pomagał Andy McNab, były żołnierz zawodowy i autor książek militarnych, instruujący uczestników sesji, jak ci powinni obchodzić się z bronią i poruszać się w formacjach bojowych.

Duże trudności nastręczają również rekwizyty. Propy – podobnie jak aktorzy – muszą być oblepione markerami, powinny też ważyć mniej więcej tyle samo, ile ważyć będą przedmioty widoczne później na ekranie. Co jednak ważne: wcale nie muszą wyglądać tak, jak obiekty, które zobaczymy później w grze czy w filmie. Przy Shadow Warriorze 2 zespół opracował np. „wykładzinogun”. Słowem: kawałek zwiniętego w rulon linoleum, do którego srebrną taśmą klejącą przyklejano uchwyty meblowe, co pomogło oddać na scenie bazooki i inne niestandardowe uzbrojenie. – Do symulacji bardziej popularnych broni – w rodzaju kałasznikowa czy strzelby – przygotowujemy odlane z kauczuku atrapy. Na wyposażeniu mamy również kolekcję mieczy, oczywiście owiniętych pianką, by nikt nie zrobił sobie nimi krzywdy.

Są chwile, gdy realizacja zlecenia wymaga zresztą znacznie większej fantazji. Całkiem niedawno ekipa mocap.pl otrzymała zlecenie na sesję wewnątrz amerykańskiego dodge’a. Sęk w tym, że dostępne na polskim rynku samochody nieszczególnie odpowiadają gabarytom amerykańskich krążowników szos. Jak wspomina Perdjon: - Musieliśmy znaleźć auto, które rozkroimy i rozparcelujemy na części pierwsze, by aktorzy i rekwizyty były widoczne dla wszystkich kamer… a zarazem takie, które będzie funkcjonalne: aktor musiał mieć pod nogą pedały, a pod ręką kierownicę i gałkę zmiany biegów, odległości między fotelami też powinny się zgadzać... Rozwiązaniem okazało się kupno powszechnie wykpiwanego Fiata Multipla, rozebranie go do gołej blachy i wycięcie środkowego (z trzech) przednich foteli. – W studiu żartujemy, że to najlepszy tuning Multipli w historii – śmieje się ekspert.

Historia motion capture zaczyna się tam, gdzie historia animacji. Jednym z jej kamieni milowych jest eksperyment Eadwearda Muybridge’a, który wywodzi się z... zakładu. Fotograf założył się ze swoim przyjacielem, że w pewnym momencie galopu koń odrywa od podłoża wszystkie kopyta, co – dzięki serii 12 zdjęć – udowodnił. Z racji czasów (1878 rok) wygrana wymagała kilkuletnich przygotowań, podczas których Muybridge skracał czas naświetlania fotografii. Kolejny ważny rozdział spisał w 1915 Max Fleischer. Amerykanin polskiego pochodzenia opracował rotoskop, wynalazek, który zrewolucjonizował ówczesną animację. Fleischer stworzył urządzenie zdolne wyświetlać na papierze poszczególne klatki filmu, dzięki czemu animator mógł je odrysować (lub wykorzystać w ramach swobodnej inspiracji), przenosząc ruch klatka po klatce (dodajmy, że ówczesne filmy były kręcone z prędkością 16 klatek na sekundę). Z jego technologii skorzystał później Walt Disney, wykorzystując rotoskopię przy „Królewnie Śnieżce i siedmiu krasnoludkach”, rozwiązaniom Polaka zawdzięczamy również niektóre sekwencje klasycznych kreskówek z Popeye’em czy Betty Boop.

Rozwój motion capture oraz efektów CGI budzi nadzieje na „przywracanie do życia” dawno zmarłych aktorów. Po latach karkołomnych prób (że tylko wspomnimy odcinek „Rodziny Soprano”, w którym wykorzystano odrzuty z nagrań przedwcześnie zmarłej Nancy Marchand, które nałożono na ciało innej aktorki) sprawa wróciła na tapetę za sprawą ponownego występu Wielkiego Moffa Tarkina. Postać dobrze znana z klasycznej trylogii „Gwiezdnych wojen” w teorii nie mogła się pojawić w niedawnym „Łotrze 1”, bo wcielający się w nią Peter Cushing w 1994 przegrał walkę z rakiem. Skąd więc jego obecność w filmie datowanym na rok 2016?

Twarz aktora przeskanowano, posiłkując się nagraniami z „Nowej nadziei”, i nałożono cyfrowo na podobnej postury Guya Henry’ego, który drobiazgowo odtworzył mimikę zmarłego. Występ, choć technologicznie wyprzedzał wszystko, co widzieliśmy dotychczas, był jednak krytykowany zarówno przez wzgląd na jakość (gdy Tarkin otwierał usta, mięśnie twarzy nie poruszały się tak, jak powinny), względy etyczne, jak i... koszty. Źródła dziennika „The Guardian” wskazują, że „była to jedna z najbardziej kompleksowych i kosztownych rekreacji CGI w historii”. Sporo problemów dostarczyły ekipie… nogi zmarłego aktora, których nie było widać na żadnym z gwiezdnowojennych ujęć. „Trzeba było przejrzeć długie godziny starych horrorów (w których Cushing występował w całości – dop. red.), by odtworzyć jego sposób poruszania się” – mówił dziennikarzom jeden z pracowników wytwórni.

Studio mocap.pl z zewnątrz przypomina garaż. Wewnątrz znajduje się mata o powierzchni 4 x 6 metra, którą otaczają 42 kamery firmy Vicon, rejestrujące obraz w rozdzielczości 16 megapikseli, do 512 klatek na sekundę. Każda z nich emituje wiązkę podczerwieni, która odbija się od kilkudziesięciu umiejscowionych na ciele aktora znaczników. Nim jednak padnie pierwszy klaps, cały ten sprzęt trzeba skalibrować. Odtwórcy przyjmują wówczas tzw. T-Pose; stają na baczność i wyciągają ręce na boki. W ten sposób każdy z ok. 50 znaczników jest idealnie widoczny, co przyda się później w procesie rekonstrukcji wirtualnego szkieletu. W biegu, tańcu czy podczas walki może się bowiem zdarzyć, że markery nałożą się na siebie. Dodajmy, że przestrzeń w studiu musi być idealnie matowa, a do środka nie może wpadać za dużo światła. Jak tłumaczy Perdjon: – Przez byle szparę w oknie wpadnie promień, który system zobaczy później jako wielką łunę. Szczęśliwie – dzięki specjalistycznemu programowi Blade – zespół na bieżąco może sterować kamerami i wyświetlać na ekranach podgląd sceny, co pozwala zawczasu uniknąć pomyłek.

Do niedawna standardem było osobne rejestrowanie ruchu szkieletu, dłoni oraz mimiki i późniejsze ich „sklejanie”. Szczególnie problematyczna jest twarz: dawniej i na nią przyklejało się markery, które rejestrowały zmianę położenia jej najbardziej newralgicznych elementów (kącików oczu i ust, linii brwi). Coraz częściej sesje realizuje się jednak w technologii full performance capture, pozwalającej na jednoczesne nagrywanie kwestii mówionych, ruchu i grymasów (aktor zakłada specjalny kask z przytroczoną kamerą, a system „w locie” wychwytuje ruch istotnych mięśni).

Najbardziej problematyczne są, rzecz jasna, gry wideo. Poza przerywnikami filmowymi trzeba do nich nagrać chociażby tzw. idle, czyli zapętlone animacje, które wyświetlą się, gdy postać nie będzie się zajmować niczym konkretnym. Aktorzy drapią się wówczas po głowie, bujają i przestępują z nogi na nogę. W osobnych sesjach realizuje się choreografię walk, animację chodu, biegu czy skoku oraz reakcje na kwestie rozmówców. Podobną drobnicę najwięksi developerzy (w rodzaju Techlandu i CD Projekt Red) realizują we własnych, „domowych” pracowniach mocapowych. Ale gdy zaistnieje potrzeba nagrania załogantów miotających się po pokładzie tonącego okrętu (a tak właśnie zaczyna się Wiedźmin 2: Zabójcy królów), na okoliczność której trzeba podwiesić aktorów na linkach i wprowadzić na plan dźwig – przydaje się namiar na zewnętrznych fachowców.

Kiedy ostatnia z sesji dobiegnie końca – do pracy przystępuje zespół rekonstruktorów. Standardem jest w branży Motion Builder, oprogramowanie służące do edycji i obróbki nagrań. Markery trzeba połączyć tzw. stickami, dzięki czemu powstanie wirtualny szkielet, a jeżeli kamery zgubiły znacznik lub dwa markery nałożyły się na siebie – ręcznie skorygować ich położenie. Niekiedy animacje należy zapętlić, by postać nie stała bezczynnie. Jeszcze tylko nałożymy na taki kościec przygotowane przez grafików modele postaci i umiejscowimy je w oteksturowanej przestrzeni i… voilà!

Oczywiście nie wszystko da się zrobić w studiu motion capture. Kiepsko wychodzi np. mocap zwierząt. Na takie rozwiązanie decydują się najwięksi (np. Activision, które na okoliczność Call of Duty: Black Ops II zarejestrowało koński galop i cwał), ale oszczędniej jest postawić na „ręczną” animację, klatka po klatce. O mocapie zwierząt Perdjon mówi: – Wymaga to ogromnej przestrzeni, wytresowanych, oswojonych zwierząt, ogromnej dyscypliny i wielu dni pracy. W dodatku konie czy psy są kiepskimi aktorami.

Gdy pytamy, jak wiele trudności nastręcza sesja, Perdjon wybucha śmiechem. Jak konstatuje: – Gdybyśmy mieli porównać obsługę mocapowego oprogramowania do obsługi doskonale znanego wszystkim Painta – różnica jest taka, jak między samochodem a promem kosmicznym. Efekty są jednak krzepiące; w ciągu kilkunastu lat mieliśmy do czynienia z ogromnym skokiem technologicznym, a specjaliści od przechwytywania ruchu – obecnie testujący mocap podwodny i suborbitalny – wcale nie powiedzieli na ten temat ostatniego słowa.

Standardem w branży jest tzw. mocap optyczny pasywny, o którym traktuje lwia część tekstu... ale nie znaczy to, że w ostatnich dziesięcioleciach nie pojawiło się kilka alternatyw. Coraz śmielej korzysta się np. z mocapu optycznego aktywnego (zamiast markerów na ciele aktora montuje się diody, które same emitują światło). Do niedawna była to ciekawostka, ale technologia znalazła już zastosowanie w kilku kinowych blockbusterach – chociażby w nagrywanej w plenerze trylogii „Planeta małp”. Kariery nie zrobił natomiast mocap inercyjny (ekipa przywdziewa „szkielety” z akceleratorami i żyroskopami, ruch przenoszony jest w czasie rzeczywistym, nie trzeba więc ani drogich kamer, ani studia… z drugiej strony: taki kombinezon bardzo ogranicza możliwość ruchu). Istnieje również szkoła mocapu magnetycznego. Na scenie montuje się ważący kilkadziesiąt kilogramów emiter pola elektromagnetycznego, a kaskaderzy poruszają się wewnątrz takiej „bańki”. Trzeba jednak mieć na uwadze, że jakość nagrania mogą zniekształcać metalowe obiekty, które znajdują się w pobliżu emitera. Swego czasu ekipy Disney Research w Pittsburgu i Carnegie Mellon University zaproponowały jeszcze jedną alternatywę. Naukowcy umieścili kamery nie wokół planu, ale… na ciele i kończynach aktorów. W oparciu o rejestrowany obraz specjalny algorytm sam tworzył szkielet.