外部トラッキングアプリとの連携
VMagicMirror v1.1.0以降ではWebカメラを用いる代わり、外部トラッキングアプリを用いてもアバターを操作できます。
v1.1.0の時点ではiOSアプリにのみ対応しています。
外部トラッキングアプリの長所と制限
外部トラッキング機能を使うにあたり、長所と制限事項を確認してください。
外部トラッキングアプリの長所
- トラッキング精度の向上: VMagicMirror自身のWebカメラによるトラッキングより高精度にトラッキングします。
- CPU負荷の削減: PC上で行っていた顔トラッキング処理をPC以外のデバイスで行えるため、PCの負荷が削減できます。
- PCからのカメラ取り外し: この機能を用いる場合、PCにWebカメラを接続する必要はありません。顔の映り込みが心配な場合、あらかじめカメラを外しておけます。
外部トラッキングアプリの制限
iOS端末の場合、比較的新しいiPhoneまたはiPadが必要です。Face ID対応か、またはA12 Bionic以降のチップが搭載されていれば利用できます。
または、比較的新しいAndroid端末も利用可能です。
そのほか、以下の制限にもご留意ください。
- 安定性: 従来のWebカメラによる方法よりは安定性が下がります。これは、デバイス間をネットワーク経由で通信するためです。
- アプリ更新による不具合リスク: アプリが更新されることで正常動作しなくなる可能性があります。
- セットアップの複雑性: アプリ間の通信を含むため、設定がやや複雑になっています。
あらかじめ準備すること
VMagicMirrorをiOSアプリと連携するために、以下の準備を行います。
- PCと端末を同一のLAN環境に接続します。
- LANでの通信が安定していることを確認します。
- iOS端末を安定して置ける環境(台など)を用意します。
- 眼鏡をかけている場合は外すか、またはフレームが細いものに付け替えます。
とくに眼鏡をかけていると、まばたきや眼球運動のトラッキング精度が著しく下がる事があります。
セットアップ方法
VMagicMirrorのコントロールパネルでEx Trackerタブを選択し、外部トラッキングを有効化チェックをオンにします。
外部トラッキングを有効化チェックをオンにすることで、外部アプリと接続できる状態になります。
各アプリの連携方法
アプリごとの連携方法は以下のリンクを参照ください。
iOS: iFacialMocapとの連携
(※他のアプリケーションがサポートされた場合、ここに随時追記されます。)
NOTE
※Androidでは以前までMeowfaceが利用できましたが、現在正常に動作しないことを確認しているため、案内を削除しました。
外部トラッキングのオプション
リップシンクも外部トラッキングの値を使用: オンにすることで、口の動きも外部トラッキングで取得した値が適用されます。左右反転をオフにする: 左右を反転させたくない場合だけオンにします。手前・奥への移動を有効化: チェックをオンにすると、手前や奥方向にもアバターが移動します(※)。パーフェクトシンクを使用: パーフェクトシンクを有効にします。 詳しくはパーフェクトシンクのTipsをご覧ください。
※手前・奥への移動を有効化 については、キーボードやゲームパッドを操作する挙動が有効な場合、モーションの破綻を減らすために前後への移動量が制限されます。アバターを前後へ大きく移動させたい場合、配信タブ > モーション > 動きかた で、つねに手下げ を選択してください。
リップシンクも外部トラッキングの値を使用がオンの場合、PC上でマイクによるリップシンクを行わないぶん、PCへの負荷が軽減できます。
さらに外部アプリはカメラ画像から口の形を取得するため、小声で喋っている場合にも口の動きが反映されます。
いっぽう、マイクで口元が遮られている場合などは口元のトラッキング精度が下がります。
この場合はリップシンクも外部トラッキングの値を使用をオフにし、従来のマイクによるリップシンクを使うことを検討してください。