Maszynowe zwiastuny

Informatycy z Uniwersytetu w Edynburgu postanowili zbadać możliwość automatycznego generowania krótkich zwiastunów filmowych. W tym celu opracowali model bazujący na sztucznej sieci neuronowej (a ściślej – na dwóch sieciach). Zaangażowali go w realizację podzadań: jedno polega na identyfikacji fabuły filmu, drugie – na rozpoznaniu nastroju i uczuć, jakie film ma wywołać. Model przetwarza więc poszczególne części produkcji filmowej (wideo) i fragmenty jej scenariusza (tekst).

Badacze, którzy opracowali system, to Pinelopi Papalamidi, Frank Keller i Mirella Lapata. Jak stwierdzili, modelują oni filmy jako grafy, w których węzły są ujęciami filmowymi, a krawędzie oznaczają relacje semantyczne między nimi. Ich nienadzorowany algorytm wykorzystuje do generowania zwiastunów wybrane informacje tekstowe (postacie, działania, sytuacje) ze scenariuszy w połączeniu ze scenami z filmu.

Rozpoznać punkty zwrotne

Dwie sieci neuronowe, z których składa się model generowania trailerów, odpowiadają za przetwarzanie reprezentacji ujęć ze strumienia wideo filmu oraz za analizę tekstowych reprezentacji scen ze scenariusza. Wspólnie rozpoznają punkty zwrotne w fabule i inne istotne elementy filmu, które powinny znaleźć się w zwiastunie.

Naukowcy wypróbowali swój model, generując trailery 41 różnych filmów. Nie jest on jeszcze doskonały, ale zespół planuje dalszy jego rozwój (szczególnie w zakresie rozpoznawania emocji); umożliwi to wykorzystywanie nowego narzędzia przez firmy producenckie.

Więcej na temat modelu można przeczytać tutaj.

fot. YouTube/KinoCheck.com