NTTが世界で初めてバーチャルキャラクターが鏡から飛び出す「超鏡空中像表示システム」を開発

2024.07.31

日本電信電話（以下NTT）は、デジタル情報が鏡の内外を自在に行き来できる超鏡空中像表示システムを、世界で初めて開発したことを明らかにした。これにより鏡の内外を問わずデジタル情報を高い実在感で表示、インタラクティブかつ直感的な操作が可能になるという。

この成果は024年7月28日から開催される世界最大のCG国際コンベンションSIGGRAPH2024 Emerging Technologiesで展示される予定だ。

開発の背景

従来、デジタル情報を日常空間に溶け込ませる技術の一つとして、半透明な鏡（ハーフミラー）の裏にディスプレイを設置して、鏡の中に情報を表示するミラーディスプレイが提案されている。

この技術は鏡に映ったユーザとデジタル情報やバーチャルキャラクタを並べて表示できるなど、その誘目性の高さから、サイネージや各種アトラクションで利用が進んでいる。

また同様に、ディスプレイの存在を意識させずに映像を空間中に結像させる空中像技術も提案されており、ライブイベントやスポーツ観戦への応用が進められている。

しかし従来のミラーディスプレイや空中像技術では、デジタル情報を表示できる領域は鏡の中、もしくは鏡の外のいずれかに限定されており、鏡面という物理的な制約に縛られないデジタル情報の表示が困難でもあった。

成果の概要

図1. 超鏡空中像の視聴イメージ。鏡の中の空中像（左上）と鏡の外の空中像（左下）

そこで本研究では、鏡の中と外をデジタル情報が自在に移動できる超鏡空中像表示システムを開発した（図1）。

このシステムによって、バーチャルキャラクタを鏡の中に表示する従来のミラーディスプレイのような映像表示だけでなく、バーチャルキャラクタが鏡の外に飛び出し、ユーザと同じ空間を共有するフィクションのような体験を実現できる。

今回開発したシステムでは、移動機構を備えたディスプレイの映像を再帰反射（※1）によって空間中に結像させることで、複数のユーザがVRゴーグルや3Dグラスなどを装着することなく、同時に超鏡空中像を視聴できるという。
※1　再帰反射：光源からの入射光をそのまま光源方向に返す反射。

■本システムのデモンストレーションの様子はこちらから。

技術のポイント

（1）リアル空間とバーチャル空間をつなぐ超鏡空中像光学系

図2. 超鏡空中像の光学系と動作。鏡の中への空中像表示（左）と鏡の外への空中像表示（右）。

図2に超鏡空中像の光学系とその動作を示す。光源となるディスプレイからの出射光はハーフミラーで反射されたのち、再帰反射材（※2）で再帰反射される。
※2　再帰反射材：再帰反射特性をもつ光学素子。再帰反射材の身近な利用例として道路標識があり、ヘッドライトの光が返ってくることで運転手が文字などを明るく視認できる。

この光がハーフミラーを透過し、空間中に空中像として結像される。ディスプレイは移動機構を備えており、空中像の奥行位置を中央のハーフミラーをはさんで前後させることで、空中像が鏡の中と外を連続的に行き来するという超鏡空中像ならではの現象を提示できる。

また、ハーフミラーを三面鏡のように配置することで、空中像が結像されるまでの光路長（※3）を大きく伸ばすことなく、空中像を視聴できる範囲を拡大し、視聴できるユーザ数を増加させる。
※3　光路長：光源から出射された光が空中像として結像されるまでの光の通り道の距離。一般的に光路長が伸びることで結像される空中像の画質が低下する。

（2）直感的なインタラクション手法

従来の空中像技術では、空中像に直接手を伸ばすなどの直感的なインタラクション手法が多く用いられており、超鏡空中像表示システムでも、鏡の外に表示された空中像に対しては同じ手法を適用できる。

加えて、本システムではユーザが手を伸ばすことのできない鏡の中の空中像にも、同様に直感的な操作を実現する手法も考案された。

まず、リアル空間のユーザの手の位置座標をセンサで取得。空中像を鏡の外に表示するときは、ユーザの手の座標をそのまま使って空中像を操作する。

空中像を鏡の中に表示するときは、鏡に映った手の座標を算出して空中像を操作する。このように空中像の表示領域に応じて座標を切り替えることで、ユーザは鏡の内外を問わずに空中像と直感的にインタラクションできる。

図3. 鏡の中（左）と外（右）の空中像とのインタラクション

今後の展開

同社では、今回の発表に際して「空中像の実在感を向上させるための立体感や高画質化に向けた研究開発を進めるとともに、博物館などの文化施設やイベントなどのエンターテインメントの場においてリアル・バーチャル交錯空間における新たな映像視聴体験の創出をめざします」とコメントしている。

構成／清水眞希