TechnologieAI wskrzesza dzieła sztuki, których nie ma

AI wskrzesza dzieła sztuki, których nie ma

Sztuczna inteligencja rekonstruuje zaginione obrazy Gustava Klimta i kończy za Beethovena X Symfonię. Czy powinna?

Czarno-biała fotografia (po lewej) obrazu „Filozofia” Gustawa Klimta, zniszczonego w 1945 r. Po prawej rekonstrukcja dzieła malarza z udziałem sztucznej inteligencji

Źródło zdjęć: © Austriacka Biblioteka Narodowa, Belweder/Google Arts and Culture

Katarzyna Bielińska

22 stycznia 2022, 08:00

Najnowszym zrekonstruowanym i poddanym obróbce obrazem jest dzieło Gustava Klimta „Filozofia” z 1900 roku. Historia dzieła, obfitująca w skandale, zaczyna się w 1894 r., kiedy to Uniwersytet Wiedeński zlecił zbuntowanemu austriackiemu malarzowi namalowanie alegorycznych obrazów na suficie nowej luksusowej auli uniwersyteckiej. Malarz dostarczył trzy blisko pięciometrowe płótna ukazujące dzikie, niepohamowane wizje świata „kołysanego seksem, śmiercią i chaosem”, jak pisali współcześni nam krytycy sztuki.

Obrazy tylko na fotografii

Płótna symbolizujące wydziały Uniwersytetu Wiedeńskiego („Filozofię”, „Prawo”, „Medycynę”) wypełniały nagie kobiety owinięte wężami, kobiety w ciąży, dzieci, szkielety i upiorne postacie. Wszystkie te obrazy możemy teraz podziwiać na platformie Google’owskiego projektu Google Arts and Culture – internetowego przedsięwzięcia, dzięki któremu użytkownicy mogą uzyskać dostęp do zrobionych w wysokiej rozdzielczości zdjęć dzieł sztuki znajdujących się w zbiorach partnerskich muzeów z całego świata. Problem tylko w tym, że tych właśnie obrazów nie ma w żadnym muzeum – grabieże nazistowskie podczas II wojny światowej doprowadziły do zniszczenia wielu cenionych dzieł austriackiego mistrza. Jedynym, co zostało po obrazach zniszczonych w pożarze w 1945 roku i co przez dziesięciolecia mogli badać naukowcy zajmujący się Klimtem, były czarno-białe fotografie jego dzieł. Aż do dziś. Dzięki sztucznej inteligencji możemy zobaczyć te płótna w kolorze, w pełnej krasie.

Aby zrekonstruować zaginione obrazy mistrza secesji, Google Arts and Culture oraz Muzeum Belweder w Wiedniu, będące w posiadaniu daniu największej liczby obrazów Klimta, opracowały specjalne oprogramowanie, które pozyskiwało informacje o używaniu kolorów przez artystę. Zewsząd. Potężny zestaw danych, którymi nakarmiono algorytm, zawierał współczesne dziennikarskie opisy uniwersyteckiego cyklu prac malarza 80 kolorowych reprodukcji innych jego obrazów, które wprowadzały sztuczną inteligencję w styl malowania artysty. Do wygenerowania odcieni skóry postaci i koloru nieba samej tylko „Filozofii” wykorzystano milion zdjęć ze świata rzeczywistego i prawie 100 tysięcy obrazów dzieł sztuki różnych artystów. Inżynier Google’a, Emil Wallner, spędził prawie sześć miesięcy na programowaniu AI, która przewidywałaby użycie określonych barw.

Klimt jak z kreskówki

Efekt? – Niewiele lepiej niż Google wiem, jak te obrazy faktycznie wyglądały, ale nie sądzę, żeby właśnie tak – mówi „The Washington Post” Jane Callill, wieloletnia dyrektorka Gallery St. Etienne w Nowym Jorku. – Te obrazy wyglądają jak kreskówki, a nie jak dzieła Klimta – dodaje. Nie trzeba być kuratorem sztuki, by stwierdzić, że nowa wersja „Filozofii”, wygenerowana dla Google Arts and Culture z pomocą sztucznych sieci neuronowych mało przypomina styl malarza, który znamy choćby z takich dzieł jak „Pocałunek” lub „Dziewica”. Po lewej stronie „Filozofii” w wersji AI widzimy przeplatające się ze sobą nagie ciała, tworzące niebieskawą (czy też raczej – posiniaczoną) mięsistą formę. Po prawej stronie dzieła nad ponurym zielonym niebem góruje sfinks.

Wynikiem współpracy ze sztuczną inteligencją zaskoczeni byli również pracownicy Belwederu pracujący nad renowacją. Znając inne dzieła mistrza, mogli przypuszczać, że gwiaździste niebo na płótnie będzie miało raczej niebieski odcień, jednak w wersji opracowanej przez AI niebo zasnute jest szmaragdową mgiełką. – To naprawdę wywołuje szokujący efekt, ponieważ oczekujesz, że będzie to coś innego — mówi Wallner w filmie na platformie Google Arts and Culture, opisującym całą rekonstrukcję.

Using technology to RESTORE disappeared KLIMT MASTERPIECES | Google Arts & Culture

Przykucnięta nagość Picassa

Rekonstrukcja obrazów Klimta to tylko jedna z wielu prób wykorzystania sztucznej inteligencji do odtworzenia sztuki. O tym, że czasem efekty bywają naprawdę niespodziewane, świadczą wysiłki George’a Canna i Anthony’ego Bouracheda – dwójki brytyjskich badaczy z Kolegium Uniwersyteckiego w Londynie , współtworzących kolektyw sztucznej inteligencji Oxia Palus. Panowie postanowili wziąć na warsztat jeden z najbardziej tajemniczych płócien Picassa – „Posiłek ślepca”. W 2010 r. po badaniu obrazu promieniami rentgenowskimi odkryto, że pod postacią niewidomego mężczyzny kryje się inna praca – portret nagiej kobiety. Znawcy epoki twierdzą, że w ówczesnych czasach zamalowanie płótna po raz drugi było czymś normalnym i wynikało z braku pieniędzy artystów na nowe blejtramy. Naukowcy z Oxia Palus dzięki opracowaniu algorytmu uczenia maszynowego, który przeanalizował dziesiątki obrazów Picassa i nauczył się naśladować styl artysty, a także wykorzystaniu techniki druku 3D odtworzyli dokładnie, jak wyglądała naga kobieta. „Samotną przykucnięta nagość” (tak nazwano tę pracę) była ukryta przed światem przez prawie 118 lat. Zdaniem badaczy z Oxia Palus sztuczna inteligencja „może dać nam ten równoległy i alternatywny świat sztuki, którego nigdy tak naprawdę nie mieliśmy”.

Rembrandt jak nowy

Na pomysł użycia AI do odtworzenia pierwotnego wyglądu obrazu wpadli również pracownicy Muzeum Narodowego w Amsterdamie (Rijksmuseum), którzy zajęli się rekonstrukcją najważniejszego obrazu w zbiorach instytucji – „Straży nocnej" Rembrandta. Ubytki w dziele powstały w 1715 roku, kiedy obraz przycięto z każdej strony, żeby zmieścił się w drzwiach ratusza w Amsterdamie.

Do rekonstrukcji użyto kopii dzieła, wykonanej przez holenderskiego malarza Gerrita Lundensa w latach 1642–1655, jeszcze przed odcięciem krawędzi. Pracownicy Rijksmuseum najpierw użyli zaawansowanych wielkoformatowych skanerów, aby powstało największe i najbardziej szczegółowe zdjęcie dzieła sztuki, jakie kiedykolwiek zrobiono. Ma ono rozmiar 717 gigapikseli, czyli składa się z 717 000 000 000 pikseli, a odległość między dwoma pikselami wynosi 5 mikrometrów (0,005 milimetra), co oznacza, że jeden piksel jest mniejszy niż ludzka czerwona krwinka. Dodatkowo zespół posłużył się 100-megapikselowym aparatem Hasselblad H6D 400 MS do wykonania 8439 pojedynczych zdjęć o wymiarach 5,5x4,1 cm. Sztuczna inteligencja posłużyła do połączenia tych mniejszych zdjęć w ostateczny duży obraz o łącznym rozmiarze pliku 5,6 terabajtów. Następnie pracownicy wytrenowali sieci neuronowe, by mogły one – po przeanalizowaniu piksel po pikselu każdego najmniejszego maźnięcia pędzla artysty, „malować jak Rembrandt”. Dzięki tym zabiegom udało się uzyskać rekonstrukcję dzieła prawdopodobnie najbliższą oryginałowi pod kątem użytych barw. Jak wyglądała praca nad „Nocną Strażą” można zobaczyć w filmie na stronie muzeum.

Beethoven z nutą AI

października ubiegłego roku miało miejsce szczególne wydarzenie: na deskach Telekom Forum w Bonn Beethoven Orchestra z solistą Cameronem Carpenterem, pod batutą dyrygenta Dirka Kaftana, wykonała symfonię Beethovena. Koncert był transmitowany na żywo na całym świecie (w Polsce streaming odbywał się na platformie Onet.pl). I nie byłoby w tym nic dziwnego (w końcu wkrótce będziemy świętować 200-lecie śmierci mistrza), gdyby nie to, że muzycy zagrali X Symfonię, czyli tę której muzyk nigdy nie stworzył.

Próbował – prace nad „dziesiątką” rozpoczęły się równolegle z IX Symfonią, z wieńczącą utwór znaną wszystkim „Odą do Radości”. Jednak z powodu podupadającego zdrowia, na krótko przed śmiercią w 1827 roku, Beethoven przerwał prace nad X Symfonią, pozostawiając jedynie kilka szkiców oraz notatek. Najsłynniejszą próbę dokończenia dzieła podjął pod koniec lat 80. Brytyjczyk Barry Cooper, jednak – jak sam przyznał – efekty nie były zadowalające. Ten fakt był dotąd wielką bolączką fanów Beethovena i muzykologów. Wszyscy zastanawiali się nad jednym – jak wspaniała mogłaby być ta muzyka...

Teraz już wiemy. Dzięki zespołowi specjalistów powołanemu przez Deutsche Telekom pod kierownictwem Matthiasa Roedera, dyrektora Instytutu Karajana , powstała „Beethoven AI” – sztuczna sieć neuronowa „zasilana” stylem słynnego kompozytora, jego notatkami i szkicami, a także dziełami kompozytorów, których wielki muzyk nazywał swoimi inspiracjami. Historycy muzyki, muzykolodzy, kompozytorzy (wśród których znalazł się m.in. Austriak Walter Werzowa, znany z napisania charakterystycznego motywu dla Intela, i informatycy sprawili, że wizja Beethovena mogła ożyć.

Beethoven - Exclusive insight into the 10th symphony

Trzy lata pracy, około dwóch milionów nut skomponowanych przez sztuczną inteligencją i współpraca dziesięciu ekspertów od muzyki i AI – to bilans „Beethoven X – projekt AI”. Pierwsze wykonanie dzieła wywołało spore poruszenie – wielu słuchaczy zastanawiało się, czy muzyka stworzona przez algorytmy może poruszyć emocje? – To nie jest Beethoven – stwierdził po koncercie Dirk Kaftan, dyrygent i prezydent Bonn. Walter Werzowa widział to inaczej: – AI jest absolutnie obiektywna i odnalazła czystą esencję Beetohovena – stwierdził. Kto ma rację? Każdy może wyrobić sobie własne zdanie, słuchając koncertu na platformie MagentaMusik360.

Idea odtwarzania dzieł sztuki, które zostały uszkodzone lub niedokończone, wydaje się fascynująca. Sztuczna inteligencja może nauczyć się rekonstruować kolory i teksturę farby oryginalnych obrazów i tak dobierać nuty, aby brzmiały „jak Beethoven”. Nie wszystkim się to podoba. I nie musi. Lista artystów niezrozumianych i odrzucanych za życia, których twórczość została odkryta i dziesięciolecia później jest długa. Być może za parę lat docenimy „szmaragdowe niebo” na zrekonstruowanym obrazie Klimta? Przeciwnicy tego rodzaju zabiegów mają jednak swoje racje: bo co, jeśli sieci neuronowe zamiast ożywiać dzieło mistrza, napiszą utwór na nowo?