Smartfon migiem cię zrozumie

Zniesienie barier językowych to gorący temat wśród największych firm IT. Warto zrobić wszystko, by ułatwić użytkownikom korzystanie z dobrodziejstw nowoczesności. Jak donosi TechCrunch, Google poszedł za ciosem i w swoich laboratoriach AI opracował system, który ma szansę znacząco poprawić komfort życia osobom posługującym się językiem migowym.

Jak?

Poprzez śledzenie w czasie rzeczywistym ruchów ręki za pomocą kamery w smartfonie. Koncern Google pracował niedawno nad systemem rozpoznawania twarzy, używając w tym celu podobnych algorytmów. Oba projekty opierają się m.in. na uczeniu maszynowym, którego wydajność wciąż rośnie, a to pozwala na prężne rozwijanie projektu.

System umożliwiający detekcję dłoni oraz śledzenie ułożenia palców jest niezwykle wartościowy. Niesie bowiem milionom ludzi korzystającym z języka migowego możliwość komunikowania się za pośrednictwem smartfona.

Algorytm śledzenia ręki jest wynikiem prac badaczy Google’a nad mapą dłoni i palców, w ramach której wyodrębniono 21 punktów. Pozwalają one określić dokładny układ stawów oraz opuszków palców.

Punkty te naniesiono następnie na ok. 30 000 zdjęć dłoni o różnym ułożeniu, a fotografie wykonywano w odmiennych warunkach oświetleniowych. System uczenia maszynowego pobiera dane generowane w oparciu o wspomniane 21 punktów, po czym porównuje zarejestrowany przez kamerę smartfona obraz ze zgromadzonymi informacjami. Na tej podstawie mechanizm uczy się rozpoznawać i odpowiednio klasyfikować poszczególne gesty. Algorytm rozpoznaje zarówno znaki języka migowego oznaczające litery, cyfry i całe słowa, jak i popularne „OK” czy „pokój”.

To, co wyróżnia ten projekt, to fakt, że naukowcy Google’a postawili na sprawność systemu oraz prostotę jego stosowania. Badacze uznali, że im mniej zbędnych danych dostarczanych jest do oprogramowania, tym wydajniejsze staje się jego działanie. Wszak zminimalizowanie zbędnych bodźców wpływa na lepszą funkcjonalność mózgu, a AI ma przecież jak najdokładniej odwzorowywać jego pracę.

Algorytm odczytujące ruchy ręki w czasie rzeczywistym ma być szybki i dokładny, a przede wszystkim – działać na zwykłym smartfonie, bez konieczności posiłkowania się specjalistycznymi programami czy kosztownym sprzętem. Wszystko funkcjonuje w ramach międzyplatformowego frameworku MediaPipe, a Google zachęca pasjonatów i hobbystów do współpracy nad rozwijaniem projektu, który wciąż jest w fazie testów. Więcej informacji o udostępnionym kodzie źródłowym można znaleźć tu.

Dobrze poprowadzone przedsięwzięcie może znacząco odmienić życie wielu użytkowników smartfonów. Śledzenie dłoni jest jednak bardzo trudne, gdyż gesty niejednokrotnie są delikatne, ruchy szybkie i niedokładne, a palce zachodzą na siebie. Ponadto na język migowy oprócz wykorzystywania gestów obu dłoni składa się także mimika twarzy oraz mowa ciała. Z tego względu przed badaczami (a także wami, jeśli zechcecie zerknąć do kodu i współuczestniczyć w rozwoju projektu) jeszcze ogrom pracy.

fot. ai.googleblog.com