人気のタグ
おすすめのサイト
企業ニュース

これは楽しい!視線の動きや姿勢によって演奏できるNECのインクルーシブなAI楽器「ANDCHESTRA」

2020.04.16

■連載/阿部純子のトレンド探検隊

見て演奏するトランペット、ポーズで演奏するバイオリン

 NECの最先端AI技術群「NEC the WISE」は、人と強調し、人の能力を拡張するAIとして、ビジネスの現場に活用されている。人とAIが協力することで、できなかったことをできることに変える、人の創造性をより豊かに発揮させる、これらをAIがアシストするのが“人と協調するAI”だ。NECはこのAI技術を活用し、視線や姿勢で音を奏でるインクルーシブな楽器「ANDCHESTRA(アンドケストラ)」を開発した。

「今回のテーマは音楽だが、自動でAIが作曲や演奏するのではなく、楽器を演奏したい人にアシストするAIを提供することで、今まで楽器が弾けなかった人が弾けるようになり、誰もが音楽を楽しめる。アンドケストラはトランペットとバイオリンの2つの楽器があるが、カメラを通して人の動きをAIが検知して、音に変換することができる仕組み。トランペットには遠隔視線推定技術、バイオリンには姿勢推定技術を使っている」(NEC IMC本部 シニアマネージャー 茂木崇さん)

〇ANDCHESTRA TRUMPET(アンドケストラ トランペット)

 遠隔視線推定技術を使用。あらかじめ定めた向きに音が設定されて、そこに視線を向けるとAIが検出して音を鳴らす。遠隔視線推定技術とは、複数人の視線を同時に検出できるAI技術で、目頭、目尻、瞳などの目の周囲の特徴点位置を抽出、白目と黒目の面積の割合から視線の方向を検知することができる。

 膨大な視線の画像をAIに学習させることで、高精度なカメラでなくても視線をある程度特定でき、人の興味や関心を捉えるマーケティングの領域で活用している。

 画面に配置されたドレミファソラシドの方向を見るとその音が出る。自由演奏、練習、課題曲(かえるのうた)の3モードがある。現状は一人での演奏だが、本来は複数の視線を捉える技術なので、ハンドベルのようにパート別に演奏する合奏を視野に入れた開発も進めていくという。

〇ANDCHESTRA VIOLIN(アンドケストラ バイオリン)」

 姿勢推定技術を使用し、人の姿勢(ポーズ)をAIが検出することで音を鳴らす。あらかじめ決められたポーズと同じポーズを取ることで、ドレミファソラシドの音を出す。

 姿勢推定技術とは、肩やひじ、腰といった人の関節点と中点を検出して、手を曲げている、伸ばしていると姿勢をAIが検知するNEC独自の技術。現在はまだ研究段階だが、実証実験としてアンドケストラに活用している。

 多くの人に演奏を楽しんでもらうため、車いすの人や片手が不自由な人でも演奏できるように上半身だけ、左右両手のモードでも検知できる。さらに難易度の高いポーズを定義することで、楽しくリハビリをする、ゴルフのスイングを追求するなど、姿勢にまつわるサービスにも応用できる技術となっている。

 トランペットと同じく自由演奏、練習、課題曲モードがある。体を動かすことで、ドレミファソラシドを鳴らすが、腕の関節の曲がり方をAIが判断しているので、関節の動きの分、視線のトランペットよりも細かく音が出せるとのことで、ポーズを微妙に変化させることでオクターブを変えることもでき、より高度な演奏も可能に。

新型コロナウイルス対策、在宅ライフを改善するヒントはこちら

@DIMEのSNSアカウントをフォローしよう!

DIME最新号

最新号
2020年11月16日(月) 発売

DIME最新号の特別付録は「8.5インチ デジタルメモパッド」!特集は「GoToトラベル完全攻略」「ベストバイ2020」

人気のタグ

おすすめのサイト

ページトップへ

ABJマークは、この電子書店・電子書籍配信サービスが、著作権者からコンテンツ使用許諾を得た正規版配信サービスであることを示す登録商標(登録番号 10401024号)です。詳しくは[ABJマーク]または[電子出版制作・流通協議会]で検索してください。