Ta AI pozwoli stworzyć film ze zdjęcia nawet na laptopie

FramePack, czyli wspomniana już "struktura sieci neuronowej przewidywania następnej klatki" powstała w wyniku współpracy nawiązanej pomiędzy Lvminem Zhangiem i Maneeshem Agrawalą z Uniwersytetu Stanforda. Narzędzie pozwala na lokalną dyfuzję wideo, a cały proces bez większego problemu możemy przeprowadzić na domowym komputerze – pod warunkiem że jest on wyposażony w kartę graficzną o co najmniej 6 GB pamięci.

Wedle tego, co napisano na stronie projektu w serwisie GitHub, FramePack "kompresuje konteksty wejściowe do stałej długości, dzięki czemu obciążenie generowania jest niezależne od długości wideo". Co więcej, twór Zhanga i Agrawali jest w stanie przetwarzać nawet ogromne liczby klatek z modelami 13B – a to wszystko przy pomocy układów graficznych obecnych na pokładach nowszych pecetów, a nawet laptopów.

Oficjalne wsparcie dla narzędzia posiadają karty graficzne Nvidia GeForce z serii RTX 20 wzwyż, acz warunkiem koniecznym jest już napomknięte 6 GB pamięci oraz wsparcie fp16 i bf16. RTX-y z serii 20 oraz GeForce'y GTX z serii 10 nie zostały oficjalnie przetestowane, acz niewykluczone, że część z nich podoła zadaniu uruchomienia FramePacka. Jak podkreślił Lvmin Zhang, desktopowy RTX 4090 generuje wideo z prędkością ok. jednej klatki na 2,5 sekundy, acz w przypadku laptopowych GPU RTX 3060 i 3070 Ti prędkość ta jest cztero- lub ośmiokrotnie mniejsza w zależności od obciążenia.

Samo narzędzie jest względnie proste w obsłudze i jeśli wcześniej mieliśmy już do czynienia z generatywnymi modelami sztucznej inteligencji, skorzystanie z FramePacka nie powinno stanowić dla nas żadnego wyzwania. Po ściągnięciu ważących przeszło 30 GB plików (link do nich znajdziemy w repozytorium, do którego link znajduje się w jednym ze wcześniejszych akapitów), praktycznie od razu możemy uruchomić program.

Dalsza część artykułu pod materiałem wideo

W wyświetlonym oknie załączamy wybrany przez nas obraz, który ma stać się klipem wideo, a także dodajemy krótki opis tekstowy z instrukcjami, jak dokładnie powinien wyglądać wygenerowany przez AI materiał. FramePack pozwala nam przy tym podejrzeć dotychczasowe efekty pracy sztucznej inteligencji. Warto mieć na uwadze, że początkowo cały proces powstawania filmu może być nieco przydługi, jako że nasze urządzenia wymaga "rozgrzewki", o czym wspomniano w repozytorium na GitHubie.

Twórcy FramePacka postanowili odnieść się do problemów trapiących modele AI bazujące na przewidywaniu. Jednym z nich jest tzw. dryfowanie (ang. drifting), a termin ten wykorzystywany jest w odniesieniu do zjawiska obniżania jakości treści w miarę zwiększania się ich długości. Maneesh Agrawala i jego kolega zastosowali metodę próbkowania dwukierunkowego, które, wedle tego, co twierdzą, wyeliminowało rzeczoną bolaczkę.

Jeśli interesuje nas, co możemy stworzyć na własnej maszynie korzystając z FramePacka, powinniśmy udać się na stronę projektu, gdzie znajdziemy galerię 5-sekundowych klipów powstałych na bazie grafik wygenerowanych przez Midjourney. Każdy z widocznych tam przykładów działa z prędkością 30 FPS i został wygenerowany na laptopie z RTX-em 3060, tym samym dowodząc, że nawet nieco już leciwe GPU ze średniej półki jest w stanie podołać zadaniu, jakim jest lokalna dyfuzja wideo z pomocą AI.