DIME MAGAZINE
実験手法および技術のポイント
実際の実験では、私たちは視覚刺激として左右で明るさの違う図形（背景）を参加者に提示し、目を動かさずに、左右の領域の間にある灰色の中央の領域を見続けるような状況が設定された。
この状況で、2つの音声（聴覚刺激）を参加者の装着したヘッドホンの左右のチャンネルから同時に提示し、2つの音声のどちらかに注意を向けるように指示を出した。
今回の実験では、視覚刺激の背景の明暗の向きと聴覚刺激の左右チャンネルの割り当ては試行ごとにランダムに変化していた。
音声の種類と白黒の間には関係がないこのような状況下で、明るい背景領域が提示されていた方向のチャンネルに流れていた音声に注意を向けていた場合と、暗い背景の方向の音声に注意を向けていた場合の2つの条件間で繰り返し測定した実験参加者の瞳孔径を比較した。（図3）
図3：実際の実験で用いられた状況
その結果、暗い背景の方向から流れる音声に注意した条件の方が、明るい背景の音声に注意した条件よりも、瞳孔径の平均値が大きくなることがわかった。
さらに、瞳孔径だけではく、固視中に観察される微小な眼球運動であるくマイクロサッカードの方向分布も注意している音声の音源方向に偏ることも明らかになった。
これらの結果は、実験参加者の聴覚的注意がどこを向いているかを、瞳孔反応やマイクロサッカードから推定できることを示している。（図4）
図4：瞳孔径の時系列変化とマイクロサッカード方向の分布
本研究の結果は、私たちに環境から入力される情報の取捨選択を行う選択的注意のメカニズムが、視覚と聴覚の間である程度共通であるという可能性を示している。
さらに、視線移動を伴わない注意対象の推定の可能性も示された。対人コミュニケーションなどの場面で見ている方向と聞きたい方向が一致しないケースは珍しくはない。
今回の成果はこのような場面でのマインドリーディングを実現する革新的な情報提示技術に応用できる可能性がある。
今後の展開
同社では、今後は聴覚のみならず、触覚など他の感覚へのマインドリーディング技術の拡張も検討するという。
また、各種の具体的な日常場面に今回の成果を応用していくためには、明確なアイメトリクスの変化がそれらの日常場面で現れるかどうか、あるいはその変化を積極的に起こすようなしくみや、簡便な計測を可能にする機器環境の提案も必要になると考えられるとのこと。
そこで同社では、「これらの実用化に必要な応用研究へも取り組むことで、無意識的で言語的には表現しづらい心の内側をも考慮した豊かなコミュニケーション技術の実現をめざします。この意味で、本研究の成果はIOWN下で問題となるユーザの多様性に配慮した、円滑な情報のやり取りが行われる世界の創生につながる一歩です」とコメントしている。
関連情報
https://group.ntt/jp/newsrelease/2023/05/30/230530c.html
※1 アイメトリクスに基づくマインドリーディング技術
アイメトリクス（Eye-metrics）に基づくマインドリーディング（mind-reading）技術の研究は、目の動きや状態を数値化データから、心の状態（内部状態）を読み取ることです。それらの研究の中では、サッカードと呼ばれる大きな視線の移動のデータに加えて、瞳孔反応（※4）やマイクロサッカード（※6）など、無意識に起こる微小な眼球運動からも、主に視覚の脳内処理に関連する様々な内部状態が読み取れることが示されてきました（図1）。
※2 研究の詳細は、米国東部時間2021年2月1日、米国科学誌「Journal of Cognitive Neuroscience」に掲載されました。論文情報：H.-I. Liao, M. Kashino, S. Shimojo, “Attractiveness in the eyes: A possibility of positive loop between transient pupil constriction and facial attraction,” Journal of Cognitive Neuroscience, Vol. 33, No. 2, pp. 315-340, 2021.
※3 研究の詳細は、米国東部時間2022年10月20日、米国科学誌「PLOS ONE」に掲載されました。論文情報：Yamashita J, Terashima H, Yoneya M, Maruya K, Oishi H, Kumada T.（2022）Pupillary fluctuation amplitude preceding target presentation is linked to the variable foreperiod effect on reaction time in Psychomotor Vigilance Tasks. PLOS ONE 17（10）: e0276205. コミュニケーション科学基礎研究所とアクセスサービスシステム研究所、京都大学の成果。
※4 瞳孔反応
外的刺激や内的状態（心理状態・生理状態）の変化によって瞳孔の大きさ（瞳孔径）が変化する反応のこと。光の強さに応じて目に入る光量を調整する反応（対光瞳孔反応）だけでなく、覚醒度や特定のタスクへの集中度といった内的状態も反映される。
※5 青斑核（Locus Coeruleus）
脳幹にある神経核のひとつ。覚醒、注意、情動といった人の内的状態の変化に関与している。青斑核から分泌されるノルアドレナリン（神経伝達物質の一種）は広範囲の脳部位に影響を与えることが知られている。
※6 マイクロサッカード（Microsaccade）
ある一点を注視していても発生する固視微動の一種。ゆっくりと視線が動くドリフトや振幅の小さい振動性運動のトレモアといった他の固視微動に比べてスピードが速く、ある対象物から別の対象物へ視線を素早く動かす機能を持つ跳躍性眼球運動（サッカード）とよく似た動特性を有する。通常のサッカードに比べて振幅が小さく、無意識に生じることが知られている。
※7 前頭眼野や上丘を含む脳内ネットワーク
前頭眼野（Frontal Eye Field, FEF）と上丘（Superior Colliculus, SC）を含むニューラルネットワーク。眼球運動や視覚的な注意を制御している。上丘の深部は視覚情報だけでなく聴覚や触覚の情報にも応答することが知られる。
※8 対光瞳孔反応
瞳孔は暗いところを見ているときには拡大し、明るいところを見ているときには収縮します。この瞳孔径の変化を対光瞳孔反応と呼びます。
構成／清水眞希
最新号
