NTTが錯覚を利用し複数モニタの枠を超えて飛び出す巨大3D空中像の提示システムを開発

2024.06.20

日本電信電話（以下NTT）は、脳の映像補完の働きを活用することで、バラバラに配置された複数のモニタ群の枠を超えて飛び出すように感じられる巨大3D空中像を提示するシステムを考案した。

バラバラに配置したモニタ群全体で巨大3D画像を世界で初めて提示

＜図1＞

図1：（上）従来の整列されたモニタ群による巨大3D映像提示法、および本提案のバラバラに配置されたモニタ群による提示法。従来は、モニタの縁が映像を遮蔽することで、奥にのみ提示できると考えられていたが、本提案手法では、透明視錯覚（※1）を誘導することで、飛び出す巨大3D像提示を実現している。
（下）分散配置のモニタ群による、透明視錯覚を誘導する明るさ調整の施された巨大3D映像提示の様子。本提案では赤とシアンでグレースケールの3D映像を提示するアナグリフ方式を用いているが、シャッター方式などカラー化のできる他の方法でも代替可能。

本提案のシステムでは、脳の映像補完の働きを誘発する透明視錯覚を取り入れた映像デザインにより、飛び出す巨大3D像を提示する（図1）。

この手法では、種類やサイズの異なるモニタが不揃いに配置され、モニタ間の隙間によって映像が部分的に欠損する場合でも、3D映像の欠損箇所が脳で補完されて知覚される。

補完された映像の箇所の背後には映像を提示する画面がなく、隙間があることで逆に3D像がモニタ群が配置された場所から分離して空間内に存在するように感じられる、AR（※2）のような体験を、3Dシネマなどで使われてきた3D眼鏡で初めて可能とした。

本成果は6月24日より開催のコミュニケーション科学基礎研究所オープンハウス2024に出展される。

開発の背景

従来、広告、エンターテイメント、イベント、VR/ARなどの領域で、大きな3D映像を提供するためには、重厚なヘッドセットや暗室、大きな液晶モニタなど、専用の機材や空間が必須だった。

また、汎用ディスプレイを複数個並べて、単一の大きな映像を提示する方法（Tiled display）は、主に2D映像で活用されており、3D映像の提示に関しては、モニタのベゼル（縁）が映像を分断することで大きな違和感を引き起こすため、同じ種類のモニタを綺麗に整列する必要があった（図1 左上）。

そのため、既存の手法では準備に手間と労力を要することが課題となっていた。

NTTコミュニケーション科学基礎研究所（CS研）は、人が感じるさまざまな錯覚現象を通じて、人の感覚・知覚メカニズムを探る人間科学の研究に取り組んでいる。

その過程で、画像の明るさを適切に設計することで、物体が遮蔽物の手前に半透明に重なるように知覚される「透明視錯覚」、および画像中の描画されていないところを補完する脳のしくみに関する知見を蓄積してきた。

今回、これらの知見を活用し、錯覚を用いることで、専用機材や空間に限定されない新しい映像表現の実現に取り組んだ。

成果の概要

本研究では、モニタ群の3D映像提示に透明視錯覚を応用し、図1右上のように異なる種類のモニタがバラバラな位置に配置されている状態でも、それぞれのモニタの物理的位置を考慮して映像を提示できるシステムを考案した（※2）。

今回、これらの人間科学の知識と新しい提示技術を組み合わせることで、バラバラの異種モニタ群で構成された提示システムでも、巨大な立体像が飛び出て見えるような3D空中像を知覚的に提示することに成功。

本技術では、バラバラのモニタ群から飛び出す3D空中像を提示するために、まずモニタ群の物理的な位置関係のキャリブレーションを行なう手法が提案された。

これにより、バラバラのモニタ群であっても、モニタ間で映像の位置がずれず、全体で一つのまとまりのある映像を提示できる。その上で、透明視錯覚を誘起する映像の明るさ調整を施す方法を導入することで、モニタのベゼルや乱雑な配置によるモニタ間の隙間で映像に欠損が生じる状況でも、脳がそれを補完でき、結果として飛び出す3D空中像提示の実現が可能となる。

このとき、浮かび上がる空中像は、モニタ間の隙間の前面にもまたがることになる。このことは、モニタ群がある場所とは切り離された本来何も存在しない空間に、空中像が浮かび上がって感じられるような作用をもたらし、空間に情報を付加するAR的な演出効果が可能になる。

従来このようなAR体験（※3）は、光学素子やセンサ、計算部を備えた特殊なヘッドセットを装着しなければ鑑賞できないものであったことに対し、本技術はモニタ間の隙間および3D映画などで使用される汎用的な3D眼鏡により、新しい表現手段で飛び出す巨大3D像の体験を実現した。

技術のポイント

■バラバラに配置したモニタのキャリブレーション

各液晶モニタに、2次元コードによる一意なIDを埋め込んだチェッカーパタンを提示して、カメラでモニタ群全体を撮影することで、1ショットでモニタ間の位置関係を把握。即座な配置の校正が可能だ。1台のカメラでも校正可能だが、ステレオカメラを使用することで、深度の推定精度をより向上させることができる。

＜図2 ＞

図2 ：（左）各モニタにキャリブレーション用情報を表示し、ステレオカメラでモニタ群全体を撮影する様子。
（右）カメラによる撮影画像と各モニタの姿勢推定結果。3次元の回転・位置の情報が、各モニタの中心で、座標軸を表す赤青緑の線で示されている。

■透明視錯覚による映像の欠損補完

本技術では、視覚心理学分野で研究されてきた脳内の視覚情報補完メカニズムや透明視知覚に関する知見を応用することで、新たな感覚を提示するディスプレイ技術に昇華させている。

人間の脳には、不完全な情報から全体像を推測し、欠けている部分を補完する優れた能力が備わっており、物理的には存在しない輪郭が脳内で補完されて知覚される現象をモーダル補完と呼ぶ（図3）。

本技術では、このモーダル補完を利用して、モニタ間の隙間に生じる像の欠損を鑑賞者の脳内で補完して知覚させている。

＜図3 ＞

図3：カニッツァの三角形（※4）によるモーダル補完効果に基づく輪郭の知覚。3つの頂点の周辺だけに描かれた輪郭が手がかりとなって、実際には存在しない三角形の輪郭が浮かび上がって見える。

ただし、通常ではモニタの端で映像が隠れてしまうように知覚されるため、欠損が補完される感覚と像が手前にある立体感も生じない（図4a）。

＜図4＞

図4：透明視を生起させる明るさ調整の例。（a）調整前。（b）調整後。（c）隙間が明るい場合の調整例。（d）隙間付近のみに調整を施した例。（e）透明視が成立する条件における知覚像のイメージ。交差法・平行法によるデモンストレーションは（※5）を参照。

この問題を解決するため、本技術では透明視錯覚を利用した。想定する隙間をまたがるような像の提示においては、透明視錯覚が生じる条件は「像の明るさが隙間および背景それぞれの明るさの間にあること」と定式化できる。

この条件を満たすように像の明るさを操作した例を図4（b,c）に示した。隙間が暗いときは背景を白く、隙間が明るいときは背景を黒く設定することで、透明視が生じる条件を満たしつつ3D像の明暗差（コントラスト）をできるだけ高く保つことができる。

さらに、透明視知覚が主に空間的に狭い範囲の（局所的な）手がかりに基づいて起こることから、隙間の付近のみにこのような明るさ調整を施すことで、元の像の見た目を大きく損なわずに提示することも可能となる（図4d）。

図4（b,c,d）のように適切に明るさを操作すると、図4（e）のように、透明視が成立し、両眼融像時に3D像が枠を飛び越えて手前に知覚されるようになる。

■今後の展望

隙間の広さや提示コンテンツの配置の仕方によって、脳内での欠損の補完のしやすさがどう変わるかなど、未だ解明できていない要素の追究が重要な方向性のひとつとなる。

今後はこうした補完のメカニズムの解明に取り組むことで、より幅広い条件で3D像が知覚できる柔軟な技術へと発展させていく必要がある。

また、本手法で扱ったような液晶モニタだけでなく、プロジェクタなど、他のさまざまなディスプレイも含めて複合させて巨大3D映像を提示できる、ユビキタスな巨大3Dディスプレイの実現をめざすという。

今回の発表に際して同社では、「さらには、奥行き方向に配置された複数個の2D映像のディジタルサイネージにより3D感を演出する技術など、不特定多数に対する没入型の映像体験の創出に取り組みます。

ぞして透明視錯覚以外の人間の知覚処理メカニズムの解明や、これに基づく立体視を効果的に演出する映像デザインの構築により、自然で簡易な分散ディスプレイ表現の拡張をめざします」とコメントしている。

用語解説

（※1）
透明視錯覚
2つの輪郭が交わる点の周囲の明るさの関係がある特定の条件を満たすことで引き起こされる知覚現象[Metelli, 1974; Adelson and Anandan, 1990; Anderson, 1997]。
透明視が生じる条件を満たすと、隙間を構成する領域と提示した像とが2つの層に分離して知覚され、モーダル補完により手前側の層が繋がっているような錯覚を生じます[Nakayama, Shimojo, & Ramachandran, 1990; Anderson, 2003; Kitaoka, Gyoba, & Sakurai, 2006]

（※2）
研究の成果の一部は、2023年9月に第28回日本バーチャルリアリティ学会大会にてデモンストレーション発表されました。論文情報：三河祐梨, 篠田裕之: BrickDisplay: 視差映像ディスプレイの分散配置による欠損を許した巨大空中像提示, 第28回日本バーチャルリアリティ学会大会 (VRSJ2023), 1G-24 2023年9月12日, 東京.

（※3）
AR （拡張現実; Augmented Reality）：
現実空間に3D-CG映像を重畳提示することで、仮想と現実の融合したリアリティを実現する技術の総称。スマートフォンなどのカメラで撮影した現実空間の画像にCG映像を重畳する手法のほかに、光学シースルーやホログラム等による空中像、およびプロジェクションマッピング等による、実空間上への映像重畳の手法がある。

（※4）
カニッツァの三角形
イタリアの心理学者ガエタノ・カニッツァにより発表された錯視図形。辺の欠けた三角形の輪郭と3つの欠けた円により、実際は存在しない白い正三角形が主観的輪郭を伴って知覚される。より詳細な説明は下記サイト（NTT Illusion Forum）を参照。
https://illusion-forum.ilab.ntt.co.jp/kanizsas-triangle/index.html

（※5）
図4の交差法・平行法による両眼融像による3D視のデモンストレーション。なお、交差法・平行法は両眼立体視を行う際の観察方法であり、1列目・2列目が交差法、2列目・3列目が平行法に対応する。交差法は、右目で左側の画像を、左目で右側の画像を観察する。平行法は、この逆で、右目で右側の画像を、左目で左側の画像を観察する。

構成／清水眞希