【Vtuber】3D,2Dモデルでフェイストラッキングをする3つの方法

【Vtuber】3D,2Dモデルでフェイストラッキングをする3つの方法

こんにちは!大学生ブロガーの(@obakasahara)カサハラです。

最近はVtuber関係の記事を書くのがマイブームですが、今回はフェイストラッキングの記事を書いていこうと思います!

フェイストラッキングをする方法はいくつかあります!

Vtuberをこれから作ろうとしている人はぜひ参考にしてみてください。

フェイストラッキングをする方法

僕が知っている限り、フェイストラキングをする方法は以下の3つです。

  • webカメラ+facerig
  • webカメラ+Hitogata
  • iPhoneX+パぺ文字

他にも方法はいくつかありますが、簡単にフェイストラッキングを使いたいならこの3つが王道のやり方でしょう。

webカメラ+facerig

費用 webカメラ代+約1500円(ツール本体の値段のみ)
フェイストラッキング精度 高い
キャラクター 2Dと3Dに対応

まず、フェイストラッキングと調べて1番最初に出てくるのが「facerig」だと思います。

facerigは1500円でフェイストラッキングが可能になるツールで、steamというサイトで購入することができます。

僕は実際に購入して使ってみたのですが、めちゃくちゃ使いやすいツールでした。

facerigにはいくつかキャラクターが用意されていて、そのキャラを自分の表情とリンクさせることができます。

精度も高くて、笑った表情とかもしっかり検知してくれます。

facerigでフェイストラッキングをするためにはwebカメラが必要ですが、逆にwebカメラだけあれば後は何も必要がありません。

オリジナルキャラの導入もできるけど…

facerigでは既存のキャラクターが用意されていますが、自作のオリジナルキャラクターを導入することもできます。

自作するキャラクターは3Dと2Dのものがあると思いますが、正直いって3Dキャラクターの導入は難しいです。

3Dキャラクターを導入するには、かなりの制限があります。

ボーンやマテリアルの名前の指定であったり、アニメーションの作り方の指定など色々制限があって、導入の難易度はかなり高めです。

僕は一回導入にチャレンジしましたが、断念しましたw

ぜひ皆さん、チャレンジしてみて成功したら教えてくださいw

僕はおすすめしませんが…

2Dキャラは導入モジュールがある!

自作の2Dキャラを作った場合、facerigに導入するなら導入モジュール(導入を簡単にするツール)があります!

もしfacerigに2Dキャラを導入する場合は「LIVE2D」というツールを使ってキャラを加工しましょう。

facerigにはLIVE2Dに対応したモジュールがあるので、LIVE2Dで作ったキャラを導入することは簡単です!

導入の仕方は、調べると色んなサイトが出てきます。

これらのサイトを参考にすれば、成功すると思うので、facerigで2Dキャラを導入したい人は参考にしてみましょう。

webカメラ+Hitogata

引用元:https://sites.google.com/site/vhitogata/

費用 webカメラ代(ツールは無料)
フェイストラッキング精度 普通
キャラクター 3Dキャラのみ対応

この「Hitogata」というツールは有志で作られているツールで、なんと無料で使うことができます!

僕もこのツールは使ったことがありますが、無料の割にかなり使いやすいツールでした!

フェイストラッキングの精度や機能はfacerigに劣りますが、オリジナルキャラクターも導入できますし、フェイストラッキングをするには十分な機能が付いています。

Hitogataでフェイストラッキングをするにはfacerigと同じようにwebカメラが必要になります。

オリジナルキャラの導入も簡単!

facerigでは自作3Dキャラを導入するのは難易度が高かったですが、Hitogataでは簡単に自作3Dキャラを導入することができます。

僕も自作キャラを作って導入しましたが、すんなり導入できました!

ぜひ皆さんも導入にチャレンジしてみてください!

導入するときには、Hitogataのホームページにマニュアルがあるので、それを参考にしてみましょう。

録画は他のツールが必要

Hitogataのデメリットとして、録画をするには別のツールが必要ということですね。

facerigではツール内で録画が可能なのですが、Hitogataではキャプチャ録画をするツールが必要になります。

キャプチャ録画とは、PCで表示されている画面自体を録画することです。

Hitogataで録画・録音をしたいときには、音声と録画は別のツールを用意しましょう。

iPhoneX+パぺ文字

引用元:https://prtimes.jp/main/html/rd/p/000000014.000021062.html

費用 iPhoneX代(ツールは無料)
精度 高い
キャラクター 2Dと3Dに対応

iPhoneXには顔認証の機能が付いているので、それを使ってフェイストラッキングを行うこともできます。

1番有名なアプリは「パぺ文字」だと思います。

パぺ文字ではiPhoneXを使って、自由にフェイストラッキングを行うことができます。

僕はiPhoneXを持っていないので、このアプリは試したことがないですが、試した人の動画を見る限りフェイストラッキングの精度は高いと思います。

また背景や声なども変更可能みたいなので、機能も豊富みたいです!

しかも、ツール自体は無料です!

スマホ一台でフェイストラッキングができちゃうので、いいですね。

自作キャラクターの導入は…

パぺ文字というアプリにはキャラクターがいくつか用意されていますが、自作キャラを導入することができます。

しかし、オリジナルキャラクターを導入は個別対応だそうです。

もし自分で作ったオリジナルキャラクターを導入したかったら、お問い合わせフォームで連絡を取る必要があります。

調べた感じだと費用などはわかりませんでした…。

もし自作キャラの導入を本気で考えている人がいたら、以下のお問い合わせフォームから問い合わせてみましょ。

フェイストラッキングしてみよう!

フェイストラッキングをする方法は調べると色々出てきますが、今回は簡単でかつ王道の方法を3つご紹介しました!

unityでフェイストラッキングを行う方法もあるっぽいんですが、コード書けない人には導入が難しいっぽいんですよね…。(あと費用が結構かかる)

まあ3Dキャラでも2Dキャラでも、今回紹介した方法でやればフェイストラッキングはできると思います!

ぜひ、フェイストラッキングにチャレンジして、Vtuberデビューしましょう!

 

もし良かったらTwitter(@obakasahara)でも情報発信しているので、フォローよろしくです!