Sony 特許ゲーム内手話翻訳者

ソニーの特許: ゲーム内手話翻訳機能により、聴覚障害のあるプレイヤーがスムーズにゲームをプレイできるようになります。

ソニーは、聴覚障害のあるゲーマーにゲームへのアクセシビリティを向上させるために特許を申請しました。この特許は、ゲーム内で異なる手話間のリアルタイム翻訳を可能にする技術について説明しています。

VR機器とクラウドゲーム技術を活用してリアルタイム翻訳を実現

「仮想環境における手話の翻訳」と題されたこの特許は、アメリカ手話 (ASL) を日本手話 (JSL) に翻訳する技術を実証し、日本語を話すプレーヤーが ASL を使用するプレーヤーを理解できるようにします。

ソニーの目標は、聴覚障害のあるプレイヤーがゲーム内でコミュニケーションできるよう、ゲーム内でリアルタイムに手話を翻訳するシステムを構築することです。この特許には、画面上に表示された仮想インジケーターまたはアバターからのリアルタイム手話コミュニケーションを可能にする技術が記載されています。システムは、まずある手話のジェスチャーをテキストに変換し、次にそのテキストを別の指定された言語に変換し、最後に受信したデータを別の手話のジェスチャーに変換します。

「本開示の実施形態は、あるユーザー（例えば、日本語を話すユーザー）の手話を捕捉し、その手話を別のユーザー（例えば、英語を話すユーザー）に翻訳するための方法およびシステムに関する。」ソニーは特許でこう説明している。 「手話は地域の起源によって異なるため、手話は世界共通言語ではありません。これには、あるユーザーの手話を適切にキャプチャし、その母国語を理解し、別のユーザーの出力として母国語手話を生成する必要があります。」

ソニーは、特許の中で考えられる実装方法の 1 つである VR 機器またはヘッドマウント ディスプレイ (HMD) の使用について説明しています。 「いくつかの実施形態では、ＨＭＤは、有線または無線接続を介して、パーソナルコンピュータ、ゲームコンソール、または他のコンピューティングデバイスなどのユーザデバイスに接続する」とソニーは詳細に述べている。 「いくつかの実施形態では、ユーザーデバイスは、ＨＭＤを介して表示されるグラフィックをレンダリングし、ユーザーに仮想環境の没入型の視聴体験を提供する。」

ソニーはさらに、あるユーザーデバイスがネットワークを介してゲームサーバー上の別のユーザーデバイスとシームレスに通信できることを提案しました。 「一部の実施形態では、ゲームサーバーはビデオゲームの共有セッションを実行し、ビデオゲームとその仮想環境の正規の状態を維持する」とソニーは述べた。「ユーザーデバイスは仮想環境の状態に関してそれと同期する」 ."

この設定を使用すると、ユーザーは共有ネットワークまたはサーバー上の同じ仮想環境 (ゲームなど) で他のユーザーと共有し、対話することができます。ソニーはまた、システムの一部の実施形態では、ゲームサーバーが各ユーザーデバイス間で「ビデオをレンダリングしてストリーミングする」クラウドゲームシステムの一部になる可能性があるとも述べた。