NICE CAMERAでは、アバターを動かすトラッキング方式を3つから選べます。このガイドでは、手の動きまでアバターに反映できる内蔵トラッキング（MediaPipe）と、Webcam Motion Capture（WMC）連携について、選び方と始め方をご案内します。
トラッキング方式の種類
| 方式 | アバターに反映する動き | 特徴 |
|---|---|---|
| OpenSeeFace（内蔵：顔） | 顔 | NICE CAMERAに内蔵された、従来からの方式です。 |
| MediaPipe（内蔵：顔＋手） | 顔・上半身・手指 | NICE CAMERAに内蔵されています。追加のアプリや契約なしで使え、設定もNICE CAMERAの中で完結します。 |
| Webcam Motion Capture（外部アプリ：顔＋全身） | 顔・表情・上半身・手指、全身 | 外部アプリのWMCで読み取った動きを、NICE CAMERAで受信します。上半身と全身の切り替えや、口・まばたき・表情ごとの動きの滑らかさなどを、WMC側で細かく調整できます。NICE CAMERAとの連携には、WMCの有料プランが必要です。 |
方式の選び方おすすめ
| やりたいこと・状況 | おすすめの方式 |
|---|---|
| NICE CAMERAだけで、手の動きまで反映したい | MediaPipe |
| 追加の費用をかけずに試したい | MediaPipe |
| すでにWMCを使っている | Webcam Motion Capture |
| 全身の動きも反映したい | Webcam Motion Capture |
| 口・まばたき・表情など、部位ごとに動きの滑らかさを調整したい | Webcam Motion Capture |
腕の見え方やPCへの負荷は、アバター、カメラ、照明、PCの構成によって変わるため、どちらが軽い・正確とは一概には言えません。MediaPipeはNICE CAMERAの中で動作し、WMC連携ではNICE CAMERAに加えてWMC本体とWebcam Motion Receiverも動作します。どちらも使える場合は、普段利用する環境で試して選んでください。
利用前の準備
次を確認してから始めてください。
- NICE CAMERAにログインしておく
- Webカメラを使用できる状態にする
- 顔、胸、肘、手が画角に入るようにカメラを置く
- 顔や手が見えやすい明るさを確保する
- 手や前腕の輪郭が背景や袖に隠れないようにする
腕や手が画角外に出たり、顔や胴体の前で大きく重なったりすると、認識が不安定になることがあります。
内蔵トラッキング（MediaPipe）を始める
- NICE CAMERAでアバターを表示します。
- 設定を開き、アバター制御の「顔認識（フェイストラッキング）」にあるトラッキング方式を開きます。
- 「MediaPipe（内蔵：顔＋手）」を選択します。
- Webカメラの使用を求められた場合は許可し、カメラの前で顔や手を動かしてアバターに反映されることを確認します。
トラッキングプレビューを表示をオンにすると、顔と手がどのように認識されているかを確認できます。MediaPipe使用中は、この方式で使わない設定項目が一部非表示になります。
MediaPipeの動きやPCへの負荷を調整する
MediaPipeを選ぶと、同じ画面で次の項目を調整できます。
| 項目 | 内容 |
|---|---|
| トラッキング解像度 | カメラから取り込む映像の解像度です。640x480、800x600、1280x720、1920x1080から選べます。 |
| トラッキングフレームレート | カメラから1秒間に取り込むコマ数です。15、30、60から選べます。Mac版では表示されません。 |
| 顔トラッキングの処理モデル | 「軽量」「標準」「高精度」から選びます。「軽量」はPCへの負荷を抑え、「高精度」は精度を優先します。 |
| トラッキングの補間 | 値を高くするほど動きは滑らかになり、反応は遅くなります。 |
| 手の検出しきい値 | 値を高くするほど、手ではないものを手と誤認しにくくなる一方で、手を見失いやすくなります。 |
設定を適用してカメラ再起動を押すと、トラッキングを再起動します。
PCの処理が追いつかない場合、トラッキングに使う画像サイズは自動で小さくなり、余裕ができると元に戻ります。
Webcam Motion Capture連携を始める
WMCは、NICE CAMERAとは別に提供されているモーションキャプチャアプリです。WMCで読み取った動きを、Webcam Motion ReceiverからNICE CAMERAへ送信してアバターに反映します。
利用には次の準備が必要です。
- Webcam Motion CaptureとWebcam Motion Receiverをインストールする
- WMCの有料プランに登録する（WMCのトラッキング機能は無料で試せますが、NICE CAMERAなどの外部アプリへ動きを送信するには有料プランが必要です）
- WMC側で、NICE CAMERAへの送信を設定する
料金や契約内容は変更される場合があるため、Webcam Motion Capture公式サイトをご確認ください。接続の手順は、Webcam Motion Captureと連携する方法をご覧ください。
同じWebカメラを複数のアプリで同時に使用できない環境では、NICE CAMERAとWMCでカメラが競合することがあります。
よくある問題と対処
手が認識されにくい
次を順に確認してください。
- 部屋を明るくする
- 肘、前腕、手までが画角に入るようにする
- 手や腕の輪郭が背景に紛れないようにする
- 袖で手首や前腕が隠れないようにする
MediaPipeの動きがカクつく・遅れて見える
Webカメラの実際の映像の更新回数は、PCやカメラの性能、ほかに起動しているアプリの影響で、設定した値より少なくなることがあります。次を確認してください。
- ほかのアプリでWebカメラを使用していないか確認する
- 使っていない重いアプリを終了する
- 部屋を明るくする
- 顔トラッキングの処理モデルを「軽量」にする、またはトラッキング解像度を下げる
トラッキングの補間の値を高くすると、動きは滑らかになる一方で、反応は遅れて見えます。反応の遅れが気になる場合は値を下げてください。
WMCを選んだが動かない
- Webcam Motion CaptureとWebcam Motion Receiverの両方が起動しているか確認する
- WMC側で外部アプリへの送信が有効になっているか確認する
- NICE CAMERAとWMCでカメラが競合していないか確認する
- WMCの有料プランの登録状態を確認する
詳しい接続手順は、Webcam Motion Captureと連携する方法をご覧ください。
アバターの腕が不自然に見える
アバターの腕の見え方は、トラッキング結果だけで決まりません。VRMの骨構造、ウェイト、ツイストボーン、衣装の作りによっても変わります。別のアバターでも確認すると、原因を切り分けやすくなります。
注意事項
単眼のWebカメラでは、奥行きや隠れた部位、画角外にある部位を完全に復元することはできません。安定したトラッキングのため、顔・上半身・手が見える位置でご利用ください。