Wirtualny tłumacz wypełnia lukę komunikacyjną w grach

Sony złożyło wniosek patentowy, aby zapewnić lepszą dostępność gier dla niesłyszących graczy. Patent pokazuje, w jaki sposób niektóre języki migowe można przetłumaczyć na inny język gry.

Patent Sony: rozwój tłumacza amerykańskiego języka migowego (ASL) na japoński język migowy (JSL) dla gier wideo

Planowane wykorzystanie sprzętu VR i działanie poprzez gry w chmurze

Sony złożyło wniosek patentowy dotyczący dodania do gier wideo tłumaczenia języka migowego w czasie rzeczywistym. Patent zatytułowany „Interpretacja języka migowego w środowiskach wirtualnych” demonstruje technologię, dzięki której amerykański język migowy (ASL) może być komunikowany japońskim użytkownikom za pomocą japońskiego języka migowego (JSL).

Sony twierdzi, że jego celem jest zbudowanie systemu, który pomoże niesłyszącym graczom, tłumacząc język migowy w czasie rzeczywistym podczas rozmów w grach. Technologia opisana w patencie umożliwiłaby wyświetlanie na ekranie wirtualnego wskaźnika lub awatara przekazywania języka migowego w czasie rzeczywistym. System najpierw tłumaczy gesty w jednym języku na tekst, następnie konwertuje tekst na inny określony język, a na koniec tłumaczy otrzymane dane na gesty w innym języku.

Sony opisuje w patencie: „Przykłady wykonania niniejszego ujawnienia dotyczą metod i systemów przechwytywania języka migowego jednego użytkownika (np. Japończyka) i tłumaczenia języka migowego innego użytkownika (np. osoby mówiącej po angielsku) Ponieważ języki migowe różnią się w zależności od pochodzenia regionalnego, a języki migowe nie są językami uniwersalnymi, wymaga to odpowiedniego uchwycenia języka migowego jednego użytkownika, zrozumienia jego języka ojczystego i wygenerowania nowego języka migowego dla innego użytkownika w jego ojczystym języku migowym. ”

Sony wyjaśnia, że ​​jednym ze sposobów wdrożenia tego systemu jest użycie urządzenia typu VR lub wyświetlacza montowanego na głowie (HMD). Szczegóły Sony: „W niektórych przykładach wykonania HMD jest podłączony do urządzenia użytkownika, takiego jak komputer osobisty, konsola do gier lub inne urządzenie komputerowe, za pośrednictwem połączenia przewodowego lub bezprzewodowego. W niektórych przykładach urządzenie użytkownika renderuje grafikę wyświetlaną za pośrednictwem HMD, Zapewnij użytkownikom wciągające wrażenia wizualne w środowisku wirtualnym ”

Firma Sony zaproponowała ponadto, aby jedno urządzenie użytkownika mogło bezproblemowo komunikować się z innym urządzeniem użytkownika na serwerze gry za pośrednictwem sieci. Sony stwierdziło: „W niektórych przykładach serwer gry wykonuje wspólną sesję gry wideo, utrzymuje stan kanoniczny gry wideo i jej środowiska wirtualnego, a urządzenie użytkownika synchronizuje się z nim pod względem stanu środowiska wirtualnego”.

Dzięki tej konfiguracji użytkownicy mogą udostępniać treści i wchodzić w interakcje w tym samym środowisku wirtualnym (tj. w grze) we współdzielonej sieci lub serwerze. Sony stwierdziło również, że w niektórych przykładach systemu serwer gier może stanowić część systemu gier w chmurze, który „renderuje i przesyła strumieniowo wideo” pomiędzy każdym urządzeniem użytkownika.