顔トラッキング
VMagicMirror v4.0.0以降では「顔トラッキング」タブから顔トラッキングの種類を選択し、基本的なセットアップを行うことができます。
サポートしている顔トラッキングの種類
VMagicMirror では顔トラッキングとして下記のトラッキング方法をサポートしています。
webカメラ (軽量): PCに接続したwebカメラによる顔トラッキングです。精度や反応速度が抑えめな変わり、PCへの負荷が軽量になります。webカメラ (高品質): PCに接続したwebカメラによる顔トラッキングです。PCの負荷が上昇するかわりに、反応速度が改善したり、より詳細な表情検出が行えたりします。外部トラッキング: iOSアプリであるiFacialMocapと連携する顔トラッキングです。iFacialMocapが利用できる場合、PC負荷を大幅に抑えつつ、高精度な顔トラッキングが利用できます。
また、webカメラによる顔トラッキングを選択したうえでカメラをオフにすると、画像によるトラッキングは行わない状態になります。PC負荷を非常に小さくしたい場合、この状態でもVMagicMirrorを使用できます。
NOTE
上記に加えて VMC Protocol での受信データもトラッキング情報として適用できます。ただし、この方法を用いるには高度なセットアップが必要です。詳細は VMC Protocol を参照して下さい。
顔トラッキングの種類ごとに利用できる設定
ここでは顔トラッキングの種類に応じた動作や、利用可能なオプションを説明します。
共通の機能として、どのトラッキングを用いている場合も 現在位置で顔をキャリブレーション ボタンによってカメラとユーザーの位置関係をチェックし、アバター姿勢を補正できます。
なお、アバターの顔の動作についてはここで挙げたオプション以外で、詳細設定ウィンドウの 顔・表情 にも利用可能なオプションがあります。
webカメラ(軽量)
webカメラ (軽量) はPC負荷を極力抑えてwebカメラを利用したい場合のためのオプションです。ゲーム中のトラッキングなど、VMagicMirrorによるCPU/GPU負荷を小さくしたい場合はこのオプションを使用します。
webカメラ (軽量) の使用中は、まばたきのトラッキング情報は使用されず、マイク入力や頭部の動作に基づいてアバターに瞬きが適用されます。また、口元の動作(リップシンク)はマイク入力に基づいて適用されます。そのほか、後述する表情スイッチ機能は本オプションの適用中には動作できません。
下記の設定をサポートしています。
webカメラをオン: チェックをオンにするとwebカメラによるトラッキングを開始します。PC負荷を極力抑えたい場合、オフにしておくことでカメラの使用を停止します。左右反転をオフにする: チェックをオンにすると、左右が反転していない状態でトラッキング結果が適用されます。視線の動き: 視線をどう動かすか選択します。マウスを選択すると、アバターがマウスポインターの方向を見ようとします。固定ではマウスを無視します。ユーザーは固定に似ていますが、フリーカメラモードでアバターの向きを正面向き以外にしたときに、なるべくモニターの正面方向を見ようとします。
webカメラ(高品質)
webカメラ(高品質) では、PC負荷が上昇するかわりに高精度なトラッキングを行います。PCスペックに余裕がある場合や、VMagicMirrorのみが高負荷なアプリケーションになるようなケースでは、場合にこのオプションを使用できます。
このオプションでは webカメラ(軽量) と異なり、まばたきや口元の動作についてもカメラで取得したデータが適用されます。
設定項目では、下記の項目をサポートしています。
webカメラをオン: チェックをオンにするとwebカメラによるトラッキングを開始します。PC負荷を極力抑えたい場合、オフにしておくことでカメラの使用を停止します。左右反転をオフにする: チェックをオンにすると、左右が反転していない状態でトラッキング結果が適用されます。手前・奥への移動を有効化: チェックをオンにすると、手前や奥方向にもアバターが移動します(※)。カメラで検出したリップシンクを適用: チェックをオンにすると、アバターの口の動作がカメラによるトラッキングに基づいた動作になります。チェックがオフの場合、マイクで検出した音声によるリップシンクが適用されます。パーフェクトシンクを使用: 表示中のアバターがパーフェクトシンク用のブレンドシェイプに対応している場合、パーフェクトシンクが適用されます。モデルの必要なセットアップ等については パーフェクトシンク を参照して下さい。視線の動き:webカメラ (軽量)にあるのと同様のオプションです。webカメラ(高品質)の場合、このオプションはカメラをオフにしている間だけ選択できます。
※手前・奥への移動を有効化 については、キーボードやゲームパッドを操作する挙動が有効な場合、モーションの破綻を減らすために前後への移動量が制限されます。アバターを前後へ大きく移動させたい場合、配信タブ > モーション > 動きかた で、つねに手下げ を選択してください。
とくに、まばたきの動作設定について まばたきのトラッキング設定を開く から、調整用のウィンドウを開いて詳細設定を行えます。
このウィンドウでは webカメラ(高品質) を選択しているときの目のトラッキングについて、「まばたき値」という数値を設定します。
「まばたき値」は目を開いていると小さくなり、目を閉じていると大きくなるような数値で、値は 0% から 100% までの範囲を取ります。実際の値は個人差やwebカメラの配置の影響を受けます。
以下の設定が調整できます。
目を開けているときのまばたき値 (%): 目を完全に開いているときのまばたき値を指定します。0~30程度の値が目安です。目を閉じているときのまばたき値 (%): 目を完全に閉じているときのまばたき値を指定します。40~70程度の値が目安です。左右のまばたき値の平均を使う: チェックをオンにすると、左右のまばたきの平均を両目に適用します。アバターの目の動きが左右でずれてしまう場合、オンにすると見た目が安定します。ただし、オンにすると片目を閉じるウインク等の動作は適用されなくなります。パーフェクトシンクのまばたきにも補正を適用: チェックをオンにすると、パーフェクトシンクの利用中も本ウィンドウでの設定による補正が適用されます。パーフェクトシンク中にアバターの目が半目になりやすい場合、オンにしておきます。まばたき値のプレビューを表示: チェックをオンにすると、実際に検出している左右の目のまばたき値と、最大/最小値の範囲が表示されます。プレビュー表示をリセットボタンを押すと、最大値/最小値の履歴がリセットされます。
とくに まばたき値のプレビューを表示 をオンにすることで、実際に検出されているまばたき値を確認できます。以下のポイントを踏まえると、意図したまばたきが適用しやすくなります。
目を開けているときのまばたき値 (%)には、プレビューでチェックした最小値より大きい値を指定します。目を閉じているときのまばたき値 (%)には、プレビューでチェックした最大値より小さい値を指定します。- 上記の2つの値を近い値にすると半目の状態を検出しにくくなり、目の開閉がはっきりと分かれます。
セットアップの数値の例として、下記のスクリーンショットでは Minが5~10程度であり、Maxは70~80程度の数値になっています。
このようなプレビュー結果に対して、例えば次のようなセットアップが有効です。
- 半目もアバターに反映できるようにしたい場合
目を開けているときのまばたき値 (%): 20目を閉じているときのまばたき値 (%): 60
- 半目にならないようにしたい場合
目を開けているときのまばたき値 (%): 35目を閉じているときのまばたき値 (%): 40
外部トラッキング
外部トラッキング機能は、iOSアプリである iFacialMocap と連携するオプションです。
iFacialMocapアプリの利用環境が手元にある場合、このオプションではPC負荷を抑えつつ高精度な顔トラッキングを適用できます。
外部トラッキングによるトラッキングの詳細については、 外部トラッキング ページ、および iFacialMocapとの連携 を参照して下さい。
表情スイッチ機能を使う
表情スイッチ機能は、ユーザーの特定の表情を検出してアバターの表情を切り替える機能です。
この機能は、顔トラッキングとして webカメラ (高品質) または 外部トラッキング を使っている場合に利用できます。ただし、webカメラ (高品質) では一部の表情は検出されません。
表情スイッチ機能のセットアップでは3つのパラメータを指定します。
しきい値: どの程度その表情を明確にすると表情が切り替わるかを指定します。表情: 適用するブレンドシェイプ名を指定します。何も適用したくなければ、(何もしない)を指定します。リップシンクを続行: 表情を切り替えたままリップシンクを動かし続けます。目だけが切り替わるブレンドシェイプに対して適用してください。
個人差や表情のタイプによっては反応しにくいものもあることに注意してください。
なお、この機能は顔トラッキングの延長であるほか、ユーザーの表情を一種のショートカットキーとして使える機能でもあります。
たとえば「舌を出したら悲しい表情になる」など、見た目上は対応関係がないような割り当ても活用できます。
NOTE
Word to Motion機能による表情切り替えと表情スイッチを同時に使用すると、Word to Motion機能による表情が優先して適用されます。
上記のほか、表情スイッチによってアクセサリーを表示することができます。
アクセサリーオプションを表示チェックをオンにすると、それぞれの条件で表示したいアクセサリーを選択できるようになります。
アクセサリー機能の詳細についてはアクセサリーページから確認できます。