人の動きを楽譜化・MIDI化する技術「MotionScore」 – Dentsu Lab Tokyoが発表
カテゴリ:エンターテック
2016-03-12

テクノロジー起点の新しい表現開発に取り組む制作集団「Dentsu Lab Tokyo」(電通ラボ東京)が、CGキャラクターやロボットの動き(モーション)を“楽譜化”する新技術「MotionScore」(モーションスコア)を発表した。

Content 1

 

MotionScoreとは

この「MotionScore」は、CGキャラクターやロボットの動きを楽譜のように、テンポごとのポーズを記号化して記録・管理する技術。

音楽における楽譜は、「楽曲のどこのタイミングで」「どの高さの音を」「どのくらいの長さで」音を鳴らすかを記号化したものと言える。
「MotionScore」では、「どのタイミングで」「どのポーズを」「どのくらい維持するか」で動きを記号化する技術といえる。

Content 2
MotionScoreイメージ via 電通報 身体のそれぞれの部分を楽譜化していることが見て取れる
 

現在、モーションデータといえば、1/60フレームごとの動作を設定・管理している。

それに比べてこの「MotionScore」の優れた点は、データ量を少なるすることができると同時に、“テンポ”を変えることで、動作のスピードをコントロールできることにある。
(楽譜も♩=120の記載を変えるだけで、楽譜本体の記載を変えずにテンポを変えて演奏できることをイメージすれば解りやすいであろうか)
 

MIDIにも組み込みが可能、広がる可能性

また「MotionScore」のデータは、音楽データの国際規格「MIDI」に組み込むことができる点も興味深いのではないであろうか。

つまり、音楽の演奏に扱う「MIDI」を使ってモーションをコントロールすることができ、「生演奏に合わせたダンスのCGキャラクター/ロボットのシンクロ」や「演奏によるモーションのアレンジ」といった活用も考える。
 
 

SXSWをはじめとした広がり

すでに活用は始まっており、現在開催中の米国テキサス州オースティン市で開催される世界最大規模のIT技術展示会「SXSW」(サウス・バイ・サウス・ウエスト)にて
 

  • 国際コンペティション「ReleaseIt at SXSW」に日本企業初のファイナリストとして選出
  • 「SXSW Trade Show」にて、オーディオデータからBPM(ビート・パー・ミニット=テンポを示す単位)を逐次検出するヤマハ株式会社の技術と連動し、CGキャラクターがダンスをするというデモンストレーションを実施

するとのこと。

また、3月中旬にクラウドファンディングサイト「Indiegogo」に出品される「GO-DJ Plus」にも採用されるなど、活用は今後も進んでいきそうだ。

Content 4
MotionScoreを採用した「GO-DJ Plus」 via 電通報

音楽以外への適用も

またこの技術は音楽にとどまらず、歩行など“テンポのある人の動き”を柔軟に再現できるとして、歩行サポートなどのヒューマン・オーグメンテーション(人間の能力を機械によって拡張させる技術)に活用していくことで、将来的には医療分野にも応用していけるのではないかと見ているという。

– Comment –

デジタルの面白さには

「すべての動きや音などは“数値化・記号化”することができ、“数値化されたデータ”が共通であれば(共通にできるなら)は、別の全く異なる事象に置き換えることができる」

と思っています。
このMotionScoreはまさに、モーションを楽譜・MIDIという「共通の記号化」をすることで、それぞれを行き来する可能性を生み出したと言えるのではないでしょうか。

またそう言った技術的な話以外にも、別のことがらを表す手法を、別のことがらへ適用することで、より豊かで面白い表現方法を生み出せるのではないか、というアイディア発想法としても面白いのではないでしょうか。

演奏家としても、動きとMIDIを同一で扱えるのであれば何ができるのか、とても面白いニュースだと感じます。

ソース:

 
 
最後までお読み頂き、ありがとうございました。
 


2016-03-12 | Posted in エンターテック | by Yuki Abe
Yuki Abe

Yuki Abe

マーケティングコミュニティプラットフォーム「cocosqure」の開発 及び 音楽・エンターテイメント音楽とテクノロジーを掛け合わせたプロダクト/サービスの情報発信および開発を行っている“エンターテック・テクノロジスト/ソフトウェアエンジニア”。 「SXSW2017 Trade Show」出展コンテンツ制作やレポート発信をきっかけに、イベント・メディアへ登壇・出演。