Sony Traducteur de langue des signes dans le jeu

Brevet Sony : le traducteur en langue des signes dans le jeu permet aux joueurs malentendants de jouer à des jeux en toute fluidité !

Sony a déposé une demande de brevet pour offrir une plus grande accessibilité aux jeux pour les joueurs malentendants. Le brevet décrit une technologie qui permet la traduction en temps réel entre différentes langues des signes au sein d'un jeu.

Utiliser l'équipement VR et la technologie de jeu en nuage pour réaliser une traduction en temps réel

Le brevet, intitulé « Traduction de la langue des signes dans des environnements virtuels », présente une technologie permettant de traduire la langue des signes américaine (ASL) en langue des signes japonaise (JSL), permettant aux joueurs qui parlent japonais de comprendre les joueurs qui utilisent l'ASL.

L'objectif de Sony est de créer un système qui traduit la langue des signes en temps réel dans le jeu pour aider les joueurs malentendants à communiquer dans le jeu. Le brevet décrit une technologie qui permettrait une communication en langue des signes en temps réel à partir d'un indicateur virtuel ou d'un avatar affiché à l'écran. Le système traduit d'abord les gestes dans une langue des signes en texte, puis convertit le texte dans une autre langue désignée et enfin traduit les données reçues en gestes dans une autre langue des signes.

"Les modes de réalisation de la présente invention concernent des procédés et des systèmes permettant de capturer la langue des signes d'un utilisateur (par exemple, un utilisateur parlant japonais) et de traduire la langue des signes à un autre utilisateur (par exemple, un utilisateur anglophone)," Sony décrit dans le brevet. "Étant donné que les langues des signes varient selon l'origine régionale, les langues des signes ne sont pas des langues universelles. Cela nécessite de capturer de manière appropriée la langue des signes d'un utilisateur, de comprendre sa langue maternelle et de générer sa langue des signes native comme sortie pour un autre utilisateur

Sony explique une méthode de mise en œuvre possible dans le brevet : utiliser un équipement VR ou des visiocasques (HMD). "Dans certains modes de réalisation, le HMD se connecte à un appareil utilisateur, tel qu'un ordinateur personnel, une console de jeu ou un autre appareil informatique, via une connexion filaire ou sans fil", détaille Sony. "Dans certains modes de réalisation, l'appareil utilisateur restitue les graphiques affichés via le HMD, offrant à l'utilisateur une expérience visuelle immersive de l'environnement virtuel

Sony a en outre proposé qu'un appareil utilisateur puisse communiquer de manière transparente avec un autre appareil utilisateur sur le serveur de jeu via le réseau. "Dans certains modes de réalisation, le serveur de jeu exécute une session partagée du jeu vidéo, maintient l'état canonique du jeu vidéo et de son environnement virtuel", a déclaré Sony, "et le dispositif utilisateur se synchronise avec celui-ci par rapport à l'état de l'environnement virtuel. ."

Avec cette configuration, les utilisateurs peuvent partager et interagir avec d'autres dans le même environnement virtuel (c'est-à-dire un jeu) sur un réseau ou un serveur partagé. Sony a également déclaré que dans certains modes de réalisation du système, le serveur de jeu pourrait faire partie d'un système de jeu en nuage qui « restitue et diffuse de la vidéo » entre chaque appareil utilisateur.