外部トラッキングアプリとの連携

VMagicMirror v1.1.0以降ではWebカメラを用いる代わり、外部トラッキングアプリを用いてもアバターを操作できます。

v1.1.0の時点ではiOSアプリにのみ対応しています。

外部トラッキングアプリの長所と制限

外部トラッキング機能を使うにあたり、長所と制限事項を確認してください。

外部トラッキングアプリの長所

トラッキング精度の向上: VMagicMirror自身のWebカメラによるトラッキングより高精度にトラッキングします。
CPU負荷の削減: PC上で行っていた顔トラッキング処理をPC以外のデバイスで行えるため、PCの負荷が削減できます。
PCからのカメラ取り外し: この機能を用いる場合、PCにWebカメラを接続する必要はありません。顔の映り込みが心配な場合、あらかじめカメラを外しておけます。

外部トラッキングアプリの制限

iOS端末の場合、比較的新しいiPhoneまたはiPadが必要です。Face ID対応か、またはA12 Bionic以降のチップが搭載されていれば利用できます。

または、比較的新しいAndroid端末も利用可能です。

そのほか、以下の制限にもご留意ください。

安定性: 従来のWebカメラによる方法よりは安定性が下がります。これは、デバイス間をネットワーク経由で通信するためです。
アプリ更新による不具合リスク: アプリが更新されることで正常動作しなくなる可能性があります。
セットアップの複雑性: アプリ間の通信を含むため、設定がやや複雑になっています。

あらかじめ準備すること

VMagicMirrorをiOSアプリと連携するために、以下の準備を行います。

PCと端末を同一のLAN環境に接続します。
LANでの通信が安定していることを確認します。
iOS端末を安定して置ける環境(台など)を用意します。
眼鏡をかけている場合は外すか、またはフレームが細いものに付け替えます。

とくに眼鏡をかけていると、まばたきや眼球運動のトラッキング精度が著しく下がる事があります。

セットアップ方法

VMagicMirrorのコントロールパネルでEx Trackerタブを選択し、外部トラッキングを有効化チェックをオンにします。

外部トラッキングを有効化チェックをオンにすることで、外部アプリと接続できる状態になります。

各アプリの連携方法

アプリごとの連携方法は以下のリンクを参照ください。

iOS: iFacialMocapとの連携

(※他のアプリケーションがサポートされた場合、ここに随時追記されます。)

NOTE

※Androidでは以前までMeowfaceが利用できましたが、現在正常に動作しないことを確認しているため、案内を削除しました。

外部トラッキングのオプション

リップシンクも外部トラッキングの値を使用: オンにすることで、口の動きも外部トラッキングで取得した値が適用されます。
左右反転をオフにする: 左右を反転させたくない場合だけオンにします。
パーフェクトシンクを使用: パーフェクトシンクを有効にします。詳しくはパーフェクトシンクのTipsをご覧ください。

リップシンクも外部トラッキングの値を使用がオンの場合、PC上でマイクによるリップシンクを行わないぶん、PCへの負荷が軽減できます。

さらに外部アプリはカメラ画像から口の形を取得するため、小声で喋っている場合にも口の動きが反映されます。

いっぽう、マイクで口元が遮られている場合などは口元のトラッキング精度が下がります。

この場合はリップシンクも外部トラッキングの値を使用をオフにし、従来のマイクによるリップシンクを使うことを検討してください。

表情スイッチ機能を使う

表情スイッチ機能は、ユーザーの表情を使ってアバターの表情を切り替える機能です。

表情スイッチ機能のセットアップでは3つのパラメータを使用します。

しきい値: どの程度その表情を明確にすると表情が切り替わるかを指定します。
表情: 適用するブレンドシェイプ名を指定します。何も適用したくなければ、(何もしない)を指定します。
リップシンクを続行: 表情を切り替えたままリップシンクを動かし続けます。目だけが切り替わるブレンドシェイプに対して適用してください。

個人差や表情のタイプによっては反応しにくいものもあることに注意してください。

なお、この機能は顔トラッキングの延長であるほか、ユーザーの表情を一種のショートカットキーとして使える機能でもあります。

たとえば「舌を出したら悲しい表情になる」など、見た目上は対応関係がないような割り当ても活用できます。