AI wskrzesza dzieła sztuki, których nie ma
Czarno-biała fotografia (po lewej) obrazu „Filozofia” Gustawa Klimta, zniszczonego w 1945 r. Po prawej rekonstrukcja dzieła malarza z udziałem sztucznej inteligencji.
źródło: Austriacka Biblioteka Narodowa, Belweder/Google Arts and Culture
Najnowszym zrekonstruowanym i poddanym obróbce obrazem jest dzieło Gustava Klimta „Filozofia” z 1900 roku. Historia dzieła, obfitująca w skandale, zaczyna się w 1894 r., kiedy to Uniwersytet Wiedeński zlecił zbuntowanemu austriackiemu malarzowi namalowanie alegorycznych obrazów na suficie nowej luksusowej auli uniwersyteckiej. Malarz dostarczył trzy blisko pięciometrowe płótna ukazujące dzikie, niepohamowane wizje świata „kołysanego seksem, śmiercią i chaosem”, jak pisali współcześni nam krytycy sztuki.
Płótna symbolizujące wydziały Uniwersytetu Wiedeńskiego („Filozofię”, „Prawo”, „Medycynę”) wypełniały nagie kobiety owinięte wężami, kobiety w ciąży, dzieci, szkielety i upiorne postacie. Wszystkie te obrazy możemy teraz podziwiać na platformie Google’owskiego projektu Google Arts and Culture – internetowego przedsięwzięcia, dzięki któremu użytkownicy mogą uzyskać dostęp do zrobionych w wysokiej rozdzielczości zdjęć dzieł sztuki znajdujących się w zbiorach partnerskich muzeów z całego świata. Problem tylko w tym, że tych właśnie obrazów nie ma w żadnym muzeum – grabieże nazistowskie podczas II wojny światowej doprowadziły do zniszczenia wielu cenionych dzieł austriackiego mistrza. Jedynym, co zostało po obrazach zniszczonych w pożarze w 1945 roku i co przez dziesięciolecia mogli badać naukowcy zajmujący się Klimtem, były czarno-białe fotografie jego dzieł. Aż do dziś. Dzięki sztucznej inteligencji możemy zobaczyć te płótna w kolorze, w pełnej krasie.
Aby zrekonstruować zaginione obrazy mistrza secesji, Google Arts and Culture oraz Muzeum Belweder w Wiedniu, będące w posiadaniu daniu największej liczby obrazów Klimta, opracowały specjalne oprogramowanie, które pozyskiwało informacje o używaniu kolorów przez artystę. Zewsząd. Potężny zestaw danych, którymi nakarmiono algorytm, zawierał współczesne dziennikarskie opisy uniwersyteckiego cyklu prac malarza 80 kolorowych reprodukcji innych jego obrazów, które wprowadzały sztuczną inteligencję w styl malowania artysty. Do wygenerowania odcieni skóry postaci i koloru nieba samej tylko „Filozofii” wykorzystano milion zdjęć ze świata rzeczywistego i prawie 100 tysięcy obrazów dzieł sztuki różnych artystów. Inżynier Google’a, Emil Wallner, spędził prawie sześć miesięcy na programowaniu AI, która przewidywałaby użycie określonych barw.
Efekt? – Niewiele lepiej niż Google wiem, jak te obrazy faktycznie wyglądały, ale nie sądzę, żeby właśnie tak – mówi „The Washington Post” Jane Callill, wieloletnia dyrektorka Gallery St. Etienne w Nowym Jorku. – Te obrazy wyglądają jak kreskówki, a nie jak dzieła Klimta – dodaje. Nie trzeba być kuratorem sztuki, by stwierdzić, że nowa wersja „Filozofii”, wygenerowana dla Google Arts and Culture z pomocą sztucznych sieci neuronowych mało przypomina styl malarza, który znamy choćby z takich dzieł jak „Pocałunek” lub „Dziewica”. Po lewej stronie „Filozofii” w wersji AI widzimy przeplatające się ze sobą nagie ciała, tworzące niebieskawą (czy też raczej – posiniaczoną) mięsistą formę. Po prawej stronie dzieła nad ponurym zielonym niebem góruje sfinks.
Wynikiem współpracy ze sztuczną inteligencją zaskoczeni byli również pracownicy Belwederu pracujący nad renowacją. Znając inne dzieła mistrza, mogli przypuszczać, że gwiaździste niebo na płótnie będzie miało raczej niebieski odcień, jednak w wersji opracowanej przez AI niebo zasnute jest szmaragdową mgiełką. – To naprawdę wywołuje szokujący efekt, ponieważ oczekujesz, że będzie to coś innego — mówi Wallner w filmie na platformie Google Arts and Culture, opisującym całą rekonstrukcję.
źródło: YouTube
źródło: UCL
Na pomysł użycia AI do odtworzenia pierwotnego wyglądu obrazu wpadli również pracownicy Muzeum Narodowego w Amsterdamie (Rijksmuseum), którzy zajęli się rekonstrukcją najważniejszego obrazu w zbiorach instytucji – „Straży nocnej" Rembrandta. Ubytki w dziele powstały w 1715 roku, kiedy obraz przycięto z każdej strony, żeby zmieścił się w drzwiach ratusza w Amsterdamie. 
źródło: Rijksmuseum/Reinier Gerritsen
Do rekonstrukcji użyto kopii dzieła, wykonanej przez holenderskiego malarza Gerrita Lundensa w latach 1642–1655, jeszcze przed odcięciem krawędzi. Pracownicy Rijksmuseum najpierw użyli zaawansowanych wielkoformatowych skanerów, aby powstało największe i najbardziej szczegółowe zdjęcie dzieła sztuki, jakie kiedykolwiek zrobiono. Ma ono rozmiar 717 gigapikseli, czyli składa się z 717 000 000 000 pikseli, a odległość między dwoma pikselami wynosi 5 mikrometrów (0,005 milimetra), co oznacza, że jeden piksel jest mniejszy niż ludzka czerwona krwinka. Dodatkowo zespół posłużył się 100-megapikselowym aparatem Hasselblad H6D 400 MS do wykonania 8439 pojedynczych zdjęć o wymiarach 5,5x4,1 cm. Sztuczna inteligencja posłużyła do połączenia tych mniejszych zdjęć w ostateczny duży obraz o łącznym rozmiarze pliku 5,6 terabajtów. Następnie pracownicy wytrenowali sieci neuronowe, by mogły one – po przeanalizowaniu piksel po pikselu każdego najmniejszego maźnięcia pędzla artysty, „malować jak Rembrandt”. Dzięki tym zabiegom udało się uzyskać rekonstrukcję dzieła prawdopodobnie najbliższą oryginałowi pod kątem użytych barw. Jak wyglądała praca nad „Nocną Strażą” można zobaczyć w filmie na stronie muzeum.
źródło: Twitter/Rijksmuseum
źródło: Deutsche Telekom
Próbował – prace nad „dziesiątką” rozpoczęły się równolegle z IX Symfonią, z wieńczącą utwór znaną wszystkim „Odą do Radości”. Jednak z powodu podupadającego zdrowia, na krótko przed śmiercią w 1827 roku, Beethoven przerwał prace nad X Symfonią, pozostawiając jedynie kilka szkiców oraz notatek. Najsłynniejszą próbę dokończenia dzieła podjął pod koniec lat 80. Brytyjczyk Barry Cooper, jednak – jak sam przyznał – efekty nie były zadowalające. Ten fakt był dotąd wielką bolączką fanów Beethovena i muzykologów. Wszyscy zastanawiali się nad jednym – jak wspaniała mogłaby być ta muzyka...
źródło: Deutsche Telekom
Teraz już wiemy. Dzięki zespołowi specjalistów powołanemu przez Deutsche Telekom pod kierownictwem Matthiasa Roedera, dyrektora Instytutu Karajana , powstała „Beethoven AI” – sztuczna sieć neuronowa „zasilana” stylem słynnego kompozytora, jego notatkami i szkicami, a także dziełami kompozytorów, których wielki muzyk nazywał swoimi inspiracjami. Historycy muzyki, muzykolodzy, kompozytorzy (wśród których znalazł się m.in. Austriak Walter Werzowa, znany z napisania charakterystycznego motywu dla Intela, i informatycy sprawili, że wizja Beethovena mogła ożyć.
źródło: YouTube
Trzy lata pracy, około dwóch milionów nut skomponowanych przez sztuczną inteligencją i współpraca dziesięciu ekspertów od muzyki i AI – to bilans „Beethoven X – projekt AI”. Pierwsze wykonanie dzieła wywołało spore poruszenie – wielu słuchaczy zastanawiało się, czy muzyka stworzona przez algorytmy może poruszyć emocje? – To nie jest Beethoven – stwierdził po koncercie Dirk Kaftan, dyrygent i prezydent Bonn. Walter Werzowa widział to inaczej: – AI jest absolutnie obiektywna i odnalazła czystą esencję Beetohovena – stwierdził. Kto ma rację? Każdy może wyrobić sobie własne zdanie, słuchając koncertu na platformie MagentaMusik360.
Idea odtwarzania dzieł sztuki, które zostały uszkodzone lub niedokończone, wydaje się fascynująca. Sztuczna inteligencja może nauczyć się rekonstruować kolory i teksturę farby oryginalnych obrazów i tak dobierać nuty, aby brzmiały „jak Beethoven”. Nie wszystkim się to podoba. I nie musi. Lista artystów niezrozumianych i odrzucanych za życia, których twórczość została odkryta i dziesięciolecia później jest długa. Być może za parę lat docenimy „szmaragdowe niebo” na zrekonstruowanym obrazie Klimta? Przeciwnicy tego rodzaju zabiegów mają jednak swoje racje: bo co, jeśli sieci neuronowe zamiast ożywiać dzieło mistrza, napiszą utwór na nowo?
Kelsey Ables, Artificial intelligence is restoring lost works by Klimt, Picasso and Rembrandt. Not everyone is happy about it, serwis internetowy Washingtonpost.com, [dostęp: 14.01.2022]
Nora McGreevy, A.I. Digitally Resurrects Trio of Lost Gustav Klimt Paintings, serwis internetowy Smithsonianmag.com, [dostęp: 14.01.2022]
Ahmed Elgammal, How a team of musicologists and computer scientists completed Beethoven’s unfinished 10th Symphony, serwis internetowy Theconversation.com, [dostęp: 14.01.2022]
Jack Guy, Hidden Picasso nude revealed and brought to life with artificial intelligence, serwis internetowy Cnn.com, [dostęp: 14.01.2022]
