公益社団法人日本プロサッカーリーグ（以下、Ｊリーグ）と日本電信電話株式会社（以下、NTT）は、2024年7月27日（土）に国立競技場で開催されたJクラブとヨーロッパの強豪クラブが対戦する「明治安田Ｊリーグワールドチャレンジ２０２４ powered by docomo」（以下、明治安田ワールドチャレンジ）において、NTTコンピュータ&データサイエンス研究所（以下、NTT研究所）が研究を進めている、PSZ(パーソナライズドサウンドゾーン)技術*1を搭載したオープンイヤー型イヤホン*2が実現するリアルとバーチャルが融合する音響XRを活用したスポーツ観戦により、スタジアムの臨場感を感じながら音響XR*3による盛り上がりを楽しむ新しい観戦体験の実証に関してNTTソノリティ株式会社（以下、NTTソノリティ）、株式会社NTT ExCパートナー（エヌ・ティ・ティ エクシ－パートナー 以下、NTT ExCパートナー）の協力のもと実施いたしました。オープンイヤー型イヤホンと音響XRの活用により、これまでにないエンターテインメント体験の実現をめざします。
図1．オープンイヤー型イヤホンを装着した新しいスポーツ観戦のイメージ
*1 PSZ（パーソナライズドサウンドゾーン）技術とは、NTTコンピュータ&データサイエンス研究所で開発された、「nwm」のオープンイヤー型に適した技術です。ある音波（正相）に対し180 度位相を反転させた波形（逆位相）を重ねると音が消える原理を応用しています。「nwm」のプロダクトでは、独自のハードウェア設計により耳元の一定エリアに音がとどまるため、耳をふさがなくても周囲への音漏れを最小限に抑えます。（※特許出願済）
*2 NTTソノリティ社が展開する音響ブランド「nwm（ヌーム）」のPSZ技術搭載 耳スピーカー「耳スピ」を本実証では利用しています。
*3 NTTコンピュータ&データサイエンス研究所で研究開発を進める、リアル空間の音と耳元の音響デバイスから再生されるバーチャル空間の音を融合する音響技術です。
- 1. 背景
これまでスタジアムでイヤホンからの音声実況を聴く場合、インナーイヤー型イヤホンでは耳が塞がれてしまうためスタジアム観戦で体験できる臨場感（演出音・歓声など）を損なう要因となっていました。本実証ではオープンイヤー型イヤホン「耳スピ」で音声実況を聴くことにより、耳を塞がずに臨場感と周囲の方とのコミュニケーションの双方を楽しめる新しい観戦体験を創出するとともに、選手の情報や戦況、戦術をリアルタイムに届けることで、ホスピタリティ向上にも貢献します。
NTTグループでは、解説を聴き取るだけではなく、NTTの音響XR活用により、あたかも解説者が隣の席から解説しているような空気感を再現することで更なるスタジアムでの盛り上がりやファンエンゲージメント向上を実現できると考えました。
- 2. 実証概要
本実証ではオープンイヤー型イヤホンとNTTの研究開発技術である、音響XRを活用したイマーシブなオリジナル実況解説をスタジアムの観客に配信しました。アプリをダウンロ－ドすることなく、専用のQRコ－ドをスマートフォンで読み込むだけで解説をすぐに聴くことができる仕組みになっています。
スタジアムの音環境は常時80dBを超える環境でしたが、オープンイヤー型イヤホンで耳を塞がずにオリジナル実況解説をクリアに聴くことができ、かつ、配信遅延は500msec以下で違和感なく体験いただけました。
- 3. NTTの音響XRのポイント
NTT研究所では、耳を塞がないオープンイヤー型イヤホンを利用したリアル空間の音とバーチャル空間の音を融合させる音響XRの研究開発をすすめています。音響XRの利用先の一つとして、スタジアムでのサッカー観戦時に周囲の臨場感はそのままに、音声解説や空間音響コンテンツを耳元から再生することで、サッカー観戦の理解やスタジアムの盛り上がりを助けることが可能となります（図2）。
図2．サッカースタジアムでの音響XR（臨場感ある解説や実況が観客の後ろから聞こえる様子）のイメージ図
これまでNTT研究所では、ユーザーが聞きたい音響デバイスの音を提示する位置を制御し、周囲の音が被らない位置から、あたかも聞こえるように提示することで、周囲の音が耳に聞こえる状況下でも音による情報提示を可能にしました*4。しかし、音の提示に利用される頭部伝達関数（HRTF）*5は人それぞれに異なる耳介形状の影響を受け、全ての人に精緻に等しく音の方向を提示することに課題があり、クリエイターが意図した通りの同一の体験を提供することが困難でした。
今回NTT研究所ではオープンイヤー型イヤホンでも立体音響を実現する音響信号処理と、HRTFが周波数上に生じる谷（ノッチ）や山（ピーク）を制御することで音の方向を制御する千葉工大飯田研究室が開発したパラメトリック・ノッチ・ピーク HRTFモデル*6（図3）と組み合わせ、個人に適した複数種類のHRTFの配信を実現しています。さらにこの処理を配信者が手軽に利用可能なDAWのプラグイン*7 にすることで、普段の配信環境を維持したままリアルタイムに音の処理を行っています。これにより、それぞれの体験者に合わせて最適な音響XR体験を配信する実証実験を行いました。
図3．耳の形によって異なる頭部伝達関数を少数のパラメータで表現可能なパラメトリック・ノッチ・ピーク 頭部伝達関数モデル
本実証実験で得た、音響デバイスでの音量、実況解説配信を聴きながら試合を観戦する体験による、集中力・耳の疲労感、HRTFの耳モデルの提供方法、実試合での体験提供のフィージビリティの確認を行い、今後の音響XRの研究開発につなげNTTグループ会社を通じたサービス展開を検討していきます。
※4 2023年11月10日 耳を塞がない音響デバイスのさらなる進化
～コンサート会場などの賑やかな場面でも必要な音がクリアに聞こえるPSZ技術～
※5 音はヒトの鼓膜に届く直前に頭や外耳の影響を受け、反射、共鳴、回折が生じます。このような、頭部による音の特性の変化を周波数の情報として表現したものを頭部伝達関数と呼んでいます。頭部伝達関数の特性は音源方向により異なります。また、聴取者によっても異なります。
※6 パラメトリック・ノッチ・ピーク 頭部伝達関数モデルは千葉工業大学 飯田研究室とNTTコンピュータ&データサイエンス研究所との共同研究にて利用しています。
※7 DAWとはデジタル・オーディオ・ワークステーションのことで、パソコン上で録音や編集、ミキシング等が可能な音楽制作を可能にするソフトウェアの総称です。様々な機能を追加するプラグインが提供されており、プラグインを導入することでDAWに新しい機能を追加することができます。
- 各社の役割
ＪリーグとNTTが実施する本実証は、NTTグループ各社の技術や機材提供協力のもと実施いたしました。
NTTソノリティ社の提供機材
■nwm ONE
2024年7月18日新発売。圧倒的な開放感が生む、新時代のサウンド体験。
音を操るコア技術「PSZ」と「Magic Focus Voice」をW搭載した、オープンイヤー型オーバーヘッド耳スピーカー。
オープンイヤーならではの広がりのある空間表現と軽い装着感でありながら、2wayドライバー搭載により圧倒的な再生周波数帯域を両立した高音質プレミアムサウンドを実現。機能美でミニマルなデザインも特長です。
■nwm MWE001
耳をふさがない、もう音漏れも気にしない。音漏れを抑制するNTT独自の「PSZ」技術を搭載した、オープンイヤー型有線耳スピーカー。
両耳合わせて約9g（コード含まず）と軽量な上、耳掛け式の安定感により、快適な装着感を実現。
家事や育児中も、イヤホンを着けたまま自然に会話ができます。充電いらずでオンライン会議にも最適です。
- 4. 今後の展開
今回、実施した配信システムをスタジアムやアリーナ等実施される様々なイベント等で活用いただければ、スタジアム・アリーナ等にお越しの方には、オープンイヤー型イヤホンとスマートフォンをご持参いただくことで、手軽に新しい観戦体験が楽しむことができるようになります。本実証で得られたデータ、知見を活かした事業化の検討を行うことで新しいスポーツ観戦、エンターテインメント体験の普及をめざしていきます。
今回の実証におけるコメント（千葉工業大学 先進工学部 知能メディア工学科 飯田 一博教授）
『立体音響のポイントは前後左右上下の3次元的な音の方向感の再現ですが、耳の特性(頭部伝達関数)の個人差が大きいため、これまで実用化には至っていませんでした。私は30年にわたって立体音響の研究を進めてきましたが、今回ようやく聴取者ひとりひとりにフィットする個別の頭部伝達関数の生成に成功し、さらにNTTのPSZ技術とのコラボレーションにより、国内はもとより海外に視野を拡げても他に類を見ない画期的な音響XRを提供することができました。
今回体験した音響XRは、会場の歓声や選手がボールを蹴る音の臨場感はそのまま耳に届き、２名の解説者の声は耳を塞がないオープンイヤー型イヤホンから立体的に耳元に届きます。あたかも専属の２名の解説者が私の左右の斜め後ろの席に控えていて、リアルタイムで解説してくれているような感覚に浸りました。これは、これまでのスポーツ観戦では味わえない贅沢な体験でした。
立体音響を活用した音響XRの普及には、研究者・技術者だけでなく、コンテンツクリエータとのコラボレーションが必要不可欠です。NTTはその両面を兼ね揃えています。今回の実証実験においても、総合力を発揮して素晴らしい観戦体験を創出してくれました。今後もさらに進化した技術により、実空間の音とバーチャル空間の音を融合した、リアルを超えた新しい音響体験の創出が大いに期待されます。』
詳細はこちら
「明治安田Ｊリーグワールドチャレンジ２０２４ powered by docomo」において「音響XRを活用した新しいスポーツ観戦」の実証を実施データ提供：PR TIMES
