Motion Laboratory

本研究では，人体の動きに合わせて動く道具の動きとしてヌンチャクの動きを3DCGで表現した．ヌンチャク動作の基本動作を光学式モーションキャプチャシステムで測定し，3DCGで垂直に振るヌンチャク動作の再現を試みた，人体とヌンチャクの動きを同時に測定し，体の動きを編集して骨格の形でデータとして出力した．ヌンチャクの2つの持ち手の先端に3つのマーカーを取り付け，これらのマーカーの位置座標から内積と外積を使用して，ヌンチャクの位置と角度を算出した．人体の動きとヌンチャクをひとつの開発環境に統合し，CGアニメーションで表現した．作成したCGアニメーションを6人で評価し，ヌンチャクのパフォーマンスに対する理解と関心についてアンケートを行った．デモンストレーション映像はヌンチャクの鎖部分がないものとなったが，参加者の興味を喚起し，彼らの動きに対する理解を深める効果は期待通りに達成された．

本研究ではHMDとコントローラを用いてVR空間上で3Dキャラクタを操作し，和服のデザインと試着体験ができるシステムを開発した. 本システムではユーザがVR空間上にあるUVマップの前にあらかじめ用意した柄素材をコントローラで拡大・縮小などをして配置し，ペンで線を描いたり，和服の地色を変更することで和服のデザインを行う．デザインは3Dキャラクタの和服にリアルタイムで反映され，試着しながらその様子を確認できるため，直感的な操作を行える．物理演算を用いて袖の摩擦や動きを再現し，3Dキャラクタの手の動きに合わせて袖がなびく．袖の長さが違った和服の印象の違いを確認するために袖の長さが違った3Dキャラクタを3体用意している．三人称視点では3Dキャラクタの舞踊の動きで動く袖の様子を客観的に鑑賞できる．本システムの操作性と有用性を評価するために評価実験を行った．その結果, 約8割の人から肯定的な回答が得られ，本システムは和服の興味喚起に効果があることを確認した． 　

• 遠藤朱里, 曽我麻佐子, VRにおける和服デザインおよび試着体験システム, 映像情報メディア学会技術報告, vol.5, no.6, ME2021-45, pp.61-62, 2021年2月

2020年，新型コロナウイルス感染症の影響で複数人が同じ空間にいることができないという問題がある．遠く離れたユーザ同士で遠隔共同作業を行うダンス振付作成システムを提案した．本システムでは，遠隔共同作業をするためにネットワークに接続されたPCを使用し，選択した任意の数のステップを連続で再生することで振付の作成を行う．また，ユーザ間で同期を行うことで，複数のユーザが同じ映像を見ながら作業をすることができる．振付作成をする際に文字チャットを使用し，選択するステップをユーザ同士で相談，選択したステップを記入することで誰が何のステップを選択したかを振り返ることができる．同期をする際にラグを減らすために，3Dモデルの動きの結果だけを送信するのではなく，入力から再生までの実行命令を送信している．本システムを学生9人に実際に体験してもらい，評価実験を行った．その結果，被験者の8割が本システムでダンスの振付作成の支援，補助できると回答したことから，遠く離れたユーザ同士での共同作業は有用であるということを確認した．

文化財は貴重品のため，実際に手に取り細部の模様まで閲覧することや内部の確認をすることは難しく，ただ見るだけでは印象に残りにくい．本研究では文化財の博物館展示における興味喚起，理解促進を目的としてVRを用いた円筒状物体の展開図が引き出し可能なインタフェースを提案する．また，提案するインタフェースを用いて舎利容器を題材にしたVRコンテンツを開発した．本インタフェースでは，両コントローラを引き離すような動作で展開図の引き出し，コントローラを近づける動作で展開図の収納し，引き出した量に応じて円筒状物体を回転させることで，引き出す展開図と円筒物体に描かれている模様の同期を行う．また，ユーザに直感的な操作を可能にするため，円筒物体側面上のユーザに最も近い位置から展開図を引き出す．本インタフェースの有用性を評価するために学生9名による評価実験を行った．評価結果により回答者の約六割が興味や理解が深まったと回答し，本インタフェースの有用性を確認した． 　　　　　　

• 田中昴, 曽我麻佐子, VRにおける文化財展示を目的とした展開図引き出しインタフェースの提案, 映像情報メディア学会技術報告, vol.45, no.6, ME2021-44, pp.59-60, 2021年2月

本研究では，中二病という若者言葉の理解促進を目的とし，CG 表現された中二病の思考をジェスチャを用いて楽しみながら体験できるシステムの開発を行った．本システムは，Kinectを用いていわゆる中二病がするとされる5つのジェスチャを認識する．認識結果に応じて，中二病の思考を可視化した 3D オブジェクトが表示されアニメーションが再生される．腕を勢いよく振る斬撃というジェスチャでは，手の位置座標の移動距離から速さを算出し，手の速さが一定以上で前フレームより遅くなった場合に，腕を勢いよく振り終わったことを認識し腕を振った方向へ斬撃の CG アニメーションを表示する，5 つのジェスチャの認識条件を類似しないものにすることで常にどのジェスチャでも認識できるようにした．本システムの有用性を評価するため,被験者8人に実際にシステムを体験してもらった結果，「楽しかった」，「中二病を表現できていた」，「中二病の理解を促進できる」という肯定的評価と「ジェスチャが誤作動する」という否定的評価を得た．そのため，楽しみながら中二病の意味理解の促進をするという目的が達成できていることがわかったが，ジェスチャ認識の精度にさらなる工夫が必要であることもわかった． 　　　　　

龍潭池にある船の上で琉球舞踊が踊られていた祭事があったとされているが，現在ではその祭事を実際に再現することは困難となっている．そこで，本研究では琉球王国時代に龍潭池で行われていた祭事の再現と琉球舞踊の祭事への興味喚起を目的として，ARヘッドセットを用いた琉球舞踊の演舞作成システムを提案した．本システムでは，龍潭池と船と舞人をCGで作成し，現実世界の床にCGを重畳表示させることによって祭事で行われた舞人の舞踊と舞人が乗る船の演舞を作成する．本システムでは直感的に演舞作成を行うためにコントローラを動かして船と舞人モデルを配置できるようにした．また，複数の船を簡単に操作するために船の移動アニメーションをキーフレームである移動目印を用いた方法を実装した．舞人に踊らせる琉球舞踊も当時の舞踊に近いものにするためにモーションキャプチャで取得したプロダンサーが踊る琉球舞踊のデータを使用した．本システムを8人の学生に実際に体験してもらい，評価実験を行った結果，回答者の9割が意図した船の配置と移動ができたと回答したことから，本システムでは船を動かす簡単な演舞を作成することが可能であると確認できた．

• 萩原智大, 曽我麻佐子, ARヘッドセットを用いた琉球舞踊の演舞作成システムの試作, インタラクション2021論文集, pp.676-677, 2021年3月

本研究では，現代舞踊の振付創作を支援することを目的とし，強化学習を用いた身体部位動作の接合によりダンスの振付動作を生成するシステムを開発した．本システムでは，基本となる動作に腕や脚などの身体部位動作を接合することによって生成された特徴がそれぞれ異なる短い振付動作を3Dアニメーションとして生成を行った．生成される動作は，強化学習を用いて動きの特徴量をもとに学習した．本研究での動きの特徴量は，1動作分の各関節の回転量に，身体部位ごとで重みをかけたものを全関節で合計した値の1フレームあたりの平均とした．重みを変えて学習させることで特徴が異なる動作が生成されることを検証するため生成された動作をみてもらい印象評価を行った．その結果，与える重みが大きい部位ほど動かなくなることが分かった． 　　　　　

• 松下匠武, 曽我麻佐子, 強化学習を用いた身体部位動作の接合システムの試作, 映像情報メディア学会技術報告, vol.45, no.6, ME2021-43, pp.57-58, 2021年2月

本研究では，振付家にとって有用なダンス振付を自動生成することを目指し，ランダムフォレストによる機械学習を行い，振付組合せが有用になる要因の分析を行った．学習データとして,身体部位の動作合成システム(BMSS)で生成された振付組合せデータに振付組合せの開始と終了の時系列情報を追加し，それに対する振付家の5段階の評価データを用いた．そのままの評価値，作品への使用可否，魅力の有無にデータを分類し，ランダムフォレストによる機械学習を行い，学習済みモデルを生成した．得られた重要度と評価，振付組合せの種類，合成タイミング，合成数から有用な振付組合せの分析を行った．分析結果より，特定の動作とタイミングによっては評価が高くなることを確認した．また，合成するとそのまま作品に使用可能になりやすい動作と魅力的になりやすい動作の存在も確認した．