【Vtuberの作り方！】 その②

お疲れ様です　はっちゃんです

今回は【Vtuberの作り方！】第2弾！

Vtuber「柊うるめ」でのリアルタイムモーションキャプチャーについて

ご紹介していきたいと思います

Vtuber【柊うるめ】

Twitter
　https://twitter.com/HiiragiUrume

YouTube
　https://www.youtube.com/channel/UCx5QOWzX0t0pr8TM2nzd6UQ

SHOWROOM
　https://www.showroom-live.com/hiiragiurume

※フォロー、チャンネル登録ぜひよろしくお願いします！

さて、Vtuberでのライブ配信を行うにはとてもとても高いハードルがあります・・・

それは・・・

リアルタイムモーションキャプチャーです！！

大きく分けて

①Body（体）のモーションキャプチャー

②指のモーションキャプチャー

③フェイシャル（表情）のモーションキャプチャー

この3か所のモーションキャプチャーが必要になります！

「柊うるめ」の場合は

①Body・・・OptiTrack（光学式）システムを使用

体に50程度のセンサーマーカーを装着し

そのマーカーの動きから骨の動きをリアルタイムに割り出し

さらに、Unityへその骨の動きをストリーミングさせて

Unityモデルをリアルタイムに動かします・・・

これだけでもけっこう大変なんですがさらに！

②指・・・「OptiTrack」か「グローブ式」システムを使用

指の動きをOptiTrackかグローブ式のキャプチャーシステムを使用して

リアルタイムにUnityモデルへストリーミングを行います

さらにさらに！！！！！！

③フェイシャル・・・Dynamixyzシステムを使用

フェイシャルはDynamixyzを使用してリアルタイムに

Unityモデルへ表情をストリーミング！！！・・・

という形で3つの要素をリアルタイムにモーションキャプチャーを行い

データをUnityへストリーミングして集約させて

一人のキャラクターが完成します

【服の揺れ】【髪】等の俗に「揺れもの」と呼ばれる部分に関しては

Unityの物理演算機能を使用して表現するため

モデルのセットアップさえ行っておけばある程度の動きが

リアルタイムに見れるようになります

そうしてUnity上でキャラクターとして生き生きと動いている映像を配信ソフトから

YouTube等へストリーミングするという流れです・・・

Vtuberのライブ配信は大変！！！！！

ということがお分かりいただけましたでしょうか

ただ、あくまでも「柊うるめ」でのライブ配信方法ですので

一例と考えてくださいね

他のVtuberさんに関してもそれぞれの運営さんが

いろいろな方法でキャラクターに命を吹き込み

工夫をして運営をしているのです！

次回の【Vtuberの作り方！】その③は今回紹介した

3つの要素それぞれを掘り下げてご紹介していきます

ではまた！

お疲れ様です。miyamotoです。

今日は以前行った江戸東京博物館の話をしようと思います。

江戸東京博物館はその名の通り当時の江戸の様子や
時代に伴う東京の文化の移り変わりについての展示がされている博物館になります。
江戸時代から始まり、近代にいたるまでの町の人の暮らしの変化について
ふれることができるようになっています。

明治以降の民家の内部を再現した部屋の展示では

木製の冷蔵庫が置かれていました。

部屋以外の大型展示では

車や自転車などもあります。

こちらは昭和時代の民家の再現になります。

当時の人々の暮らしを追えるようにと各時代の家の展示がありました。

大型の展示と当時の街並み模型が豊富にあり

見るだけで時代ごとの変化を感じ取れるのでとても楽しめました。

機会があればぜひまた行きたいなと思います。

以上、miyamotoでした。

【Vtuberの作り方！】 その①

お疲れ様です　はっちゃんです！

ブログの書き方を若干忘れてますが・・・
久しぶりの投稿です！



今回から【Vtuberの作り方！】と題してスタジオイブキがある株式会社グリオグルーヴのVtuber【柊うるめ】で使用されているCG技術についてご紹介！
主に体＋表情のモーションキャプチャーについて投稿していきます！



Vtuber【柊うるめ】

https://twitter.com/HiiragiUrume
https://www.youtube.com/channel/UCx5QOWzX0t0pr8TM2nzd6UQ
https://www.showroom-live.com/hiiragiurume

※フォロー、チャンネル登録ぜひよろしくお願いします！




1回目はキャラクターに命を吹き込むために必要な要素について
次回からモーションキャプチャーの各要素についてピックアップして
投稿していきたいと思います！
※【ちゃんねるうるめ】での技術関連投稿になりますのでVtuber運営の一例として御覧ください



◆Vtuberに命を吹き込むうえで必要な要素について
【ちゃんねるうるめ】では下記をまずは用意しました


①3DCGキャラクターモデル
・【ちゃんねるうるめ】で使用しているモデルデータは我らが株式会社グリオグルーヴの
「モデリングの鬼」セクションが作成しています

デザイナーと綿密な打ち合わせを行いキャラクターやアセットをUnityベースで作成！


　「モデリングの鬼」
　https://www.animaroid.com/
　http://modeling-devil.blogspot.com/

初期デザイン画

初期3Dデザイン画

モデリング完成！
どの位置から見ても可愛いんです

②モーションキャプチャー機材（体＋表情）
・光学式OptiTrackシステムを使用して体の動きをトラッキング
　https://optitrack.com/

・表情はDynamixyzシステムを使用して顔映像からトラッキング
　http://www.dynamixyz.com/

　スタジオイブキがモーションキャプチャー業務で使用している機材を
　うるめちゃんでも使用しています！

　表情は眼球や皮膚の細かな動きまでトラッキング可能なんです！


　「スタジオイブキ」
　https://www.studioibuki.com/

　※うるめちゃん実はハリウッド映画でも使用されている
　　モーションキャプチャー機材で動いているのです！
　　スタジオは7人同時ダンスも収録可能な広さなんですよ♪


③音声機材（マイク等）
・指向性ワイヤレスピンマイクを使用
※音響関連のスタッフが運営チームにはいなかったため手探りで行っていました・・・


④Unityリアルタイムレンダリング用PC
・つよつよPCを用意
※Unityオペレーターがいなかったためスタッフが頑張って覚えました！


⑤ストリーミングソフト
・OBSを使用



キャラクターに命を吹き込む方法は千差万別ですが
いろいろな要素を一つにまとめる必要がありとても大変...
しかも、Vtuberともなると避けては通れない【ライブ配信】という高いハードルが！！


次回はリアルタイムモーションキャプチャーにピックアップして投稿します！！

お疲れ様です。miyamotoです。
つい先週まではまだ暖かかったのに、１週間ほどであっという間に冷え込んできたので
ここ数日で慌てて冬の模様替えをしています。


徐々にですが今年も年末に向かって忙しくなってきたこともあり
先日、英気を養うためにざうおというお店に行ってきました。

基本的には海鮮系のお店になるのですが
座席の横に画像のようないけすがあり、そちらから釣った魚を調理して
食べることもできるようなお店になっています。

釣るのが苦手な人用にひっかけ釣り可能なスポットもあり
そちらでは貝や伊勢海老など魚以外もいたりします。

つり上げ後は店員さんに調理方法を伝えることで後ほど席まで持ってきてくれます。
（画像のヒラメは刺身と煮つけになりました）


しっかり食べて体力も付けたので、残り2か月も頑張っていきたいと思います。
以上、miyamotoでした

optitrackのUnityリアルタイム

お疲れ様です。miyamotoです。
本日はoptitrackのリアルタイムについてです。


optitrackはモーションビルダーやUnityなどにリアルタイムを飛ばすことができます。
Unityへと飛ばす際は「Skeleton Coordinates」をGlobalからLocalに変更します。

（後々使うのでIPアドレスをおぼえておく）

配布されているSDKをUnityに読み込み、Unity内のリアルタイムで

動かしたいキャラクターのアニメーションタイプを「Humanoid」に変更し

シーン内にキャラクターを配置します。

Create Emptyで作った空のゲームオブジェクトに「OptitrackStreamingClient」を
割り当ててMotive側のIPアドレスとUnity側のIPアドレスをそれぞれ記入します。

動かしたいキャラクターのトップルートに「OptitrackSkeletonAnimator」を割り当て

Motive上のVSKネームとアニメーションを流すキャラクターのアバターを指定します

（アバターはビルダーのキャラクタライズのようなもの）

以上の設定したのちにPlayボタンを押すとストリーミングが始まり
下の画像のようにリアルタイムでキャラクターが動くようになります。

今回は珍しくリアルタイム関連の話でしたがいかがでしたでしょうか？
また何か思いついた際などはこういった話をしていければと思います。
以上、miyamotoでした。

パーセプションニューロンプロ検証

お疲れ様です。miyamotoです。

イブキでは去年頭からフェイシャルキャプチャー用のヘッドリグ追加やカメラ等
新規機材の追加が続いていたのですが

先日、新規機材で検証用にパーセプションニューロンプロを１台購入し
そちらの検証をイブキスタッフの方で行うことになりました。

画像のような小型のセンサーを体の各部位にバンドで配置します。

センサーはおおよそ16グラムです。

料理の大さじ1が15グラムであることを考えると

とても軽いので演者負担は少なめかなと思います。

また、無線式になったため配線の心配がなくなったのがいいところの一つですね。

仕様上磁気に弱いのですが、会議室でテストした感じでは

以前までよりは強くなっているように感じました。

動きとしてはやはり光学式に比べると拾えてない動きが多々あるのですが

この値段でこれだけ動けるものが出てきたことに

技術の進歩ってすごいなあと思いました。

（あくまで個人的意見ですが、予算感によっては光学式を選べない時や

野外撮影などの時には選択肢にはいってくるのではないでしょうか）

今後も光学式に限らず、様々なキャプチャーシステムの

情報を気にしていきたいと思います。

以上、miyamotoでした。

お疲れ様です。miyamotoです。

年が明けたと思っていたら、気がつけばもうすぐ4月で
時の流れははやいと思うばかりです。

私は就職して以来、西武線ユーザーなのですが
2017年に西武池袋線の西武秩父駅に隣接温泉施設ができたので
このたび行ってきました。

立地が駅改札を抜けてすぐということもあり人は多かったです。

また、施設内もきれいで秩父のお土産品コーナーなどもあり
秩父地方のほかの地域の観光帰りに立ち寄るにもお勧めの施設かと思いました。
個人的にお勧めはちちぶ餅です！

大福なのですが通常の大福よりも餅の部分がかなり柔らかく
ふにゃふにゃの感触が癒し系のお餅です。
もしも秩父地方行く機会があれば一度食べてみていただければと思います。


休日にリフレッシュもできたので
年度明けからも、また頑張っていければと思います。
以上、miyamotoでした。

カメラ追加しました

新年あけましておめでとうございます。
お疲れ様です。miyamotoです。

ホームページではまだ記載がありませんが
現在スタジオイブキではVicon社のシステムのほかにoptitrack社のシステムが
新しくスタジオの設備として加わっております。

導入しているoptitrackのカメラです

撮影によってMotiveとBladeを使い分けながら運用しておりましたが
この度、optitrackのカメラを増設することになりました！

新たに４台増設したことによりカメラ台数は22台から26台に
撮影したデータの精度も今までより良くなりました。

この強化されたスタジオ設備で今年も頑張っていきたいと思います。



以上、miyamotoでした。
本年もどうぞよろしくお願いします。