音楽からダンスを自動生成するAI振付師 Googleなど開発

音楽からダンスを自動生成するAI振付師 Googleなど開発

 南カリフォルニア大学、Google Research、カリフォルニア大学バークレー校による米研究チームが開発した「AI Choreographer」は、音楽からダンスの振り付けを作成する機械学習フレームワークだ。生成した振り付けを3Dキャラクターに転送しダンスアニメーションを作成できる。本物のダンサーから学習しており、リアルで滑らかな動きを生成する。

 40人のプロダンサーが踊るソロダンス1510本、グループダンス108本含む動画数1万3940本で構成するストリートダンス動画データベース「AIST Dance Video Database」から3Dモーションを再構築した3Dヒューマンダンスモーションデータセット「AIST ++」には、2Dと3Dの両方での人の関節位置17カ所、24のポーズパラメーターなどのアノテーションが含まれる。

 このデータセットにより、非常に滑らかなダンスモーションを出力する。先行研究の2つのベースラインと比較する評価実験を行なったところ、本手法がより本物に近い動き、多様なダンスモーションを生成できることを示したとしている。生成された3次元の動きと音楽との相関についての評価も本手法が上回ったという。

AI Choreographer: Learn to Dance with AIST++ Music Conditioned 3D Dance Generation

🍎たったひとつの真実見抜く、見た目は大人、頭脳は子供、その名は名馬鹿ヒカル!🍏