Виртуальный переводчик устраняет разрыв в общении в играх

Sony подала заявку на патент, чтобы обеспечить лучшую доступность игр для глухих геймеров. Патент показывает, как определенные языки жестов можно перевести на другой внутриигровой язык.

Патент Sony: Переводчик с американского языка жестов (ASL) на японский язык жестов (JSL) для видеоигр

Планируем использовать VR-оборудование и работать через облачные игры

Sony подала заявку на патент, чтобы добавить в видеоигры сурдоперевод в реальном времени. Патент под названием «Интерпретация языка жестов в виртуальных средах» демонстрирует технологию, с помощью которой американский язык жестов (ASL) может передаваться японским пользователям с использованием японского языка жестов (JSL).

Sony заявляет, что ее цель — создать систему, которая поможет глухим игрокам, переводя язык жестов в реальном времени во время внутриигровых разговоров. Технология, описанная в патенте, позволит виртуальному индикатору или аватару, отображаемому на экране, передавать язык жестов в реальном времени. Система сначала переводит жесты на одном языке в текст, затем преобразует текст на другой указанный язык и, наконец, переводит полученные данные в жесты на другом языке.

Sony описывает в патенте: «Варианты настоящего изобретения относятся к способам и системам для захвата языка жестов одного пользователя (например, японца) и перевода языка жестов другому пользователю (например, говорящему по-английски). Поскольку языки жестов различаются в зависимости от регионального происхождения, а языки жестов не являются универсальными языками, для этого требуется надлежащим образом захватить язык жестов одного пользователя, понять его родной язык и создать новый язык жестов для другого пользователя на его родном языке жестов. »

Sony объясняет, что один из способов реализации этой системы — с помощью устройства типа VR или головного дисплея (HMD). Sony подробно описывает: «В некоторых вариантах реализации HMD подключается к пользовательскому устройству, такому как персональный компьютер, игровая консоль или другое вычислительное устройство, через проводное или беспроводное соединение. В некоторых вариантах реализации пользовательское устройство отображает графику, отображаемую через HMD, предоставьте пользователям захватывающий опыт просмотра в виртуальной среде»

Sony также предложила, чтобы одно пользовательское устройство могло беспрепятственно взаимодействовать с другим пользовательским устройством на игровом сервере через сеть. В Sony заявили: «В некоторых вариантах реализации игровой сервер выполняет общий сеанс видеоигры, поддерживает каноническое состояние видеоигры и ее виртуальной среды, а пользовательское устройство синхронизируется с ними относительно состояния виртуальной среды».

Благодаря этой настройке пользователи могут совместно использовать и взаимодействовать в одной и той же виртуальной среде (например, игре) в общей сети или на сервере. Sony также заявила, что в некоторых вариантах реализации системы игровой сервер может быть частью облачной игровой системы, которая «рендерит и передает потоковое видео» между каждым пользовательским устройством.