Obłędne animacje dzięki metodzie głębokiego uczenia

Elementy przyrody stanowiące częste tło pamiątkowych zdjęć z wycieczek mogą wkrótce „ożyć" na fotkach. Wodospad zacznie spływać kaskadami, a chmury delikatnie przesuwać się po niebie. Nad możliwością taką pracują naukowcy z Uniwersytetu Waszyngtońskiego.

Tylko zdjęcie, nic więcej

Opracowana metoda głębokiego uczenia sprawia, że wystarczy sama fotografia, by zrobić z niej film – system nie potrzebuje dodatkowych informacji od użytkownika. Na wielu próbach nauczył się sam przewidywać, jak fotografowane elementy zdjęcia, w naturze ruchome, zachowują się w momentach następujących po zrobieniu fotki.

Dzięki tej technice na podstawie fotografii powstaje płynnie zapętlony film wysokiej rozdzielczości, którego odbiorca ma wrażenie ciągłego ruchu.

Baza wiedzy: tysiące filmów

Stworzenie filmu na podstawie statycznego zdjęcia wymaga od systemu przewidywania, jak zachowuje się dany element natury w chwilach po zarejestrowaniu obrazu (i przed tym momentem). Możliwości jest ogrom – bardzo różnie przecież mogą się rozprysnąć np. krople wodospadu. Dlatego naukowcy przeszkolili sieć neuronową, wykorzystując tysiące filmów przedstawiających wodospady, rzeki, oceany i inne ruchome elementy natury. Następnie żądali od sieci odtworzenia ruchu na podstawie tylko pierwszej klatki. W ten sposób określali ruch każdego piksela w animacji tworzonej na podstawie zdjęcia. Żeby uniknąć luk powstających wskutek przesuwania pikseli, nałożyli na siebie dwa plany – przewidywanego ruchu przed zrobieniem zdjęcia i po jego zrobieniu.

Metoda sprawdza się dobrze w przypadku płynnych obiektów o przewidywalnym ruchu. Ma jednak być rozwijana, aby pozwolić na uruchomienie także innych obiektów, np. włosów szalejących na wietrze.

Badacze chcą zaprezentować system 22 czerwca podczas Konferencji na temat widzenia komputerowego i rozpoznawania wzorców (Conference on Computer Vision and Pattern Recognition). Więcej na temat metody można przeczytać tutaj.

fot. University of Washington