Sony Патенты Внутриигровой переводчик жестового языка

Патент Sony: внутриигровой переводчик языка жестов позволяет слабослышащим игрокам без проблем играть в игры!

Sony подала заявку на патент, чтобы обеспечить большую доступность игр для геймеров с нарушениями слуха. Патент описывает технологию, которая обеспечивает перевод в реальном времени между различными языками жестов в игре.

Использование VR-оборудования и технологий облачных игр для перевода в реальном времени

Патент под названием «Перевод языка жестов в виртуальных средах» демонстрирует технологию перевода американского языка жестов (ASL) на японский язык жестов (JSL), позволяющую игрокам, говорящим по-японски, понимать игроков, использующих ASL.

Цель Sony — создать систему, которая переводит язык жестов в игре в режиме реального времени, чтобы помочь слабослышащим игрокам общаться в игре. Патент описывает технологию, которая позволит общаться на языке жестов в реальном времени с помощью виртуального индикатора или аватара, отображаемого на экране. Система сначала переводит жесты на одном языке жестов в текст, затем преобразует текст на другой назначенный язык и, наконец, переводит полученные данные в жесты на другом языке жестов.

«Варианты настоящего раскрытия относятся к способам и системам для захвата языка жестов одного пользователя (например, пользователя, говорящего по-японски) и перевода языка жестов другому пользователю (например, пользователю, говорящему по-английски)» Sony описывает в патенте. «Поскольку языки жестов различаются в зависимости от регионального происхождения, языки жестов не являются универсальными языками. Это требует надлежащего захвата языка жестов одного пользователя, понимания его родного языка и создания родного языка жестов в качестве вывода для другого пользователя».

Sony объясняет в патенте один из возможных способов реализации: использование VR-оборудования или головных дисплеев (HMD). «В некоторых вариантах реализации HMD подключается к пользовательскому устройству, такому как персональный компьютер, игровая консоль или другое вычислительное устройство, через проводное или беспроводное соединение», — уточняет Sony. «В некоторых вариантах реализации пользовательское устройство отображает графику, отображаемую через HMD, предоставляя пользователю захватывающий опыт просмотра виртуальной среды».

Sony также предложила, чтобы одно пользовательское устройство могло беспрепятственно взаимодействовать с другим пользовательским устройством на игровом сервере через сеть. «В некоторых вариантах реализации игровой сервер выполняет общий сеанс видеоигры, поддерживает каноническое состояние видеоигры и ее виртуальной среды», — заявила Sony, — «и пользовательское устройство синхронизируется с ним относительно состояния виртуальной среды». .»

Благодаря этой настройке пользователи могут обмениваться информацией и взаимодействовать с другими в одной виртуальной среде (например, игре) в общей сети или на сервере. Sony также заявила, что в некоторых вариантах реализации системы игровой сервер может быть частью облачной игровой системы, которая «рендерит и передает потоковое видео» между каждым пользовательским устройством.