MocapCompanionAppSuggestion.md

こんなアプリが欲しい

こういう「現実の背景をバックにアバターが踊ってる」動画を iPhoneとMocopiだけで指、表情込みで撮影できる アプリ

どんなアプリを作れば良いの？

アバターの読み込み

• VRoid Hubと連携してVRMモデルが読み込めると良い

トラッキング

• 顔はARKitFaceのBlendShape
• 指はMediaPipeのHand(後述の通りmocopiが無い場合はMediaPipeのBlazePoseでも良い)

から取得したlandmarkやblendshapeを使う。全身のposeはmocopiからの入力があるならそれを使う。

合成する背景

• iPhoneのリアカメラのプレビューを動画背景として合成する。 (ある程度以上のスペックのiOS端末はフロントカメラでトラッキングをしながらリアカメラも使える https://github.com/Unity-Technologies/arfoundation-samples#rear-camera-arkit )
• もちろん、生身の自分を一緒に映したい奇特な趣味（？）の人向けにフロントカメラの映像を使うモードがあっても良い

出力する録画データ

• アプリ内の録画ボタンから録画してmp4で書き出す。音はマイクだけ使うかもしれない…音ハメなどは映像編集アプリに任せる

想定される難しいポイントと現時点の回答

iPhone 1台だと処理が重くない？

iPhone13以降限定、くらいを想定しています。

Mocopiのアプリと同時起動できるの？

• Mocopiアプリとwaidayoが同時起動できていたので可能だと思います。
• MocopiアプリとiFacialMocapが同時起動できていたので可能だと思います。
• Mocopiアプリの送信先IPを127.0.0.1でいけるかは要検討…

指のトラッキングデータが骨折しないための仕組み

Humanoidの骨のMuscleとしてありえない姿勢にならないようにアプリ内でConstraintを解く必要がありそう

そこそこなUIのゴチャ付

はい…

画面の録画や録音、VRoidHub対応など単純な積み上げタスク工数

はい…