Virtuele vertaler overbrugt communicatiekloof in gaming

Sony heeft een patentaanvraag ingediend om dove gamers betere toegankelijkheid van games te bieden. Het patent laat zien hoe bepaalde gebarentalen vertaald kunnen worden naar een andere in-game taal.

Sony-patent: ontwikkeling van een vertaler van Amerikaanse gebarentaal (ASL) naar Japanse gebarentaal (JSL) voor videogames

Gepland om VR-apparatuur te gebruiken en te werken via cloudgaming

Sony heeft een patentaanvraag ingediend om realtime vertaling in gebarentaal toe te voegen aan videogames. Het patent, getiteld "Sign Language Interpretation in Virtual Environments", demonstreert een technologie waarmee Amerikaanse gebarentaal (ASL) kan worden gecommuniceerd naar Japanse gebruikers met behulp van Japanse gebarentaal (JSL).

Sony zegt dat het doel is om een ​​systeem te bouwen dat dove spelers helpt door gebarentaal in realtime te vertalen tijdens in-game gesprekken. De technologie die in het patent wordt beschreven, zou het mogelijk maken dat een virtuele indicator of avatar op het scherm wordt weergegeven om gebarentaal in realtime over te brengen. Het systeem vertaalt gebaren in de ene taal eerst naar tekst, converteert de tekst vervolgens naar een andere opgegeven taal en vertaalt ten slotte de ontvangen gegevens naar gebaren in een andere taal.

Sony beschrijft in het patent: "Belichamingen van de huidige openbaarmaking hebben betrekking op methoden en systemen voor het vastleggen van de gebarentaal van één gebruiker (bijvoorbeeld een Japanner) en het vertalen van de gebarentaal naar een andere gebruiker (bijvoorbeeld een Engelstalige) Omdat gebarentalen variëren per regionale oorsprong, en gebarentalen geen universele talen zijn, vereist dit dat je de gebarentaal van de ene gebruiker op de juiste manier vastlegt, zijn moedertaal begrijpt en een nieuwe gebarentaal voor een andere gebruiker genereert in zijn moedertaal. ”

Sony legt uit dat een manier om dit systeem te implementeren is met behulp van een VR-apparaat of een op het hoofd gemonteerd display (HMD). Sony details: "In sommige uitvoeringsvormen is de HMD verbonden met een gebruikersapparaat, zoals een personal computer, gameconsole of ander computerapparaat, via een bekabelde of draadloze verbinding. In bepaalde uitvoeringsvormen geeft het gebruikersapparaat afbeeldingen weer die worden weergegeven via de HMD, Bied gebruikers een meeslepende kijkervaring in een virtuele omgeving ”

Sony stelde verder voor dat het ene gebruikersapparaat via het netwerk naadloos kan communiceren met een ander gebruikersapparaat op de gameserver. Sony zei: "In sommige uitvoeringsvormen voert de gameserver een gedeelde sessie van de videogame uit, handhaaft de canonieke status van de videogame en zijn virtuele omgeving, en synchroniseert het gebruikersapparaat daarmee met betrekking tot de status van de virtuele omgeving."

Met deze opstelling kunnen gebruikers delen en communiceren in dezelfde virtuele omgeving (d.w.z. game) op een gedeeld netwerk of server. Sony zei ook dat in sommige uitvoeringsvormen van het systeem de spelserver deel zou kunnen uitmaken van een cloud-spelsysteem dat "video weergeeft en streamt" tussen elk gebruikersapparaat.