Z informacji opublikowanych przez serwis Patentlyze wynika, że firma Sony złożyła niedawno wniosek patentowy dotyczący systemu opartego na AI, który przewiduje kolejną klatkę gry, zanim procesor graficzny zakończy jej właściwe renderowanie. Celem tego rozwiązania ma być ograniczenie zacięć bez wprowadzania dodatkowego opóźnienia związanego z niektórymi stosowanymi obecnie metodami generowania klatek.
Nowe podejście do generowania klatek, które wyeliminuje jego największe wady?
Podejście to ma na celu wyeliminowanie wady niektórych technik generowania klatek. Bardzo często wymagają one „aż” dwóch gotowych klatek przed wygenerowaniem obrazu, który ma zostać wstawiony między nimi. Oczekiwanie na drugą klatkę powoduje opóźnienie. System Sony wykorzystywałby natomiast już dostępną klatkę do przewidywania następnej, zamiast czekać na informacje pozwalające na wstawienie jej między dwiema gotowymi klatkami. Różnica ta mogłaby pomóc grom w utrzymaniu bardziej stabilnej częstotliwości wyświetlania klatek w przypadku spowolnienia renderowania. Zgłoszenie patentowe Sony nie zawiera jednak żadnych pomiarów wydajności, przez co jego faktyczny wpływ na opóźnienia i jakość obrazu pozostaje niepotwierdzony.
Superpróbkowanie generowania klatek może obejmować wygenerowanie reprezentacji klatki obrazu na podstawie pierwszej klatki obrazu w strumieniu obrazów oraz przewidywanie syntetycznej drugiej klatki obrazu w tym strumieniu przy użyciu reprezentacji klatki obrazu pierwszej klatki w strumieniu obrazów.
fragment wniosku patentowego Sony
System AI proponowany przez Sony ma generować nową klatkę wyłącznie na podstawie informacji zawartych w poprzedniej – bez czekania na kolejną „prawdziwą” klatkę
Serwis TechSpot podaje, że zaproponowany przez Sony system wykorzystuje wspólnie wytrenowany koder i dekoder. Koder przekształca wyrenderowaną klatkę w osadzenie – zwartą numeryczną reprezentację obrazu. Następnie dekoder wykorzystuje tę reprezentację do wygenerowania przewidywanej klatki. Podczas rozgrywki system ma działać równolegle z potokiem graficznym. Podczas gdy procesor graficzny renderuje kolejną klatkę, sztuczna inteligencja przetwarza poprzednią i wysyła swoje przewidywania do bufora wyświetlacza. Dzięki temu wygenerowany obraz może pojawić się, zanim kolejna renderowana klatka będzie gotowa.
Model AI może wykorzystywać wektory ruchu, które opisują, w jaki sposób poruszają się poszczególne elementy obrazu, oraz najnowsze dane wejściowe z kontrolera. Te dodatkowe dane dostarczają więcej informacji niż sama poprzednia klatka – wektory ruchu wskazują, w którym kierunku zmierzają obiekty, natomiast naciśnięcia przycisków ujawniają najnowsze działania gracza. W trakcie uczenia modelu AI wykorzystywane będą kolejne klatki wideo. Sieć rozpoczyna pracę z losowo zainicjowanymi wagami, pobiera jedną klatkę jako dane wejściowe i próbuje przewidzieć następną. Następnie porównuje swój wynik z rzeczywistą kolejną klatką, generując wartość straty, która mierzy błąd prognozy.
Czy wytrenowany w ten sposób model AI trafi do PlayStation 6?
Czy spoglądamy właśnie na system generowania klatek, który trafi do zbliżającej się nieubłaganie następnej generacji konsoli od Sony – PlayStation 6? Być może. Nie jest wielką tajemnicą, że oprócz samej mocy obliczeniowej nowe urządzenia do grania będą musiały nadrobić sporo zaległości w kwestii nowoczesnych technologii renderowania obrazu. Prawdziwym testem dla proponowanych tutaj rozwiązań jest jednak to, czy wytrenowany model AI będzie rzeczywiście w stanie odtworzyć obraz bez zauważalnych dla gracza strat. Póki co nie mamy jednak dostępu do żadnych jego testów. Czy metoda ta okaże się dobrym rozwiązaniem wykorzystywanym przez Sony w nadchodzącej generacji? Na odpowiedź musimy jeszcze trochę poczekać.
0 komentarzy