気づいたら誰でも自宅でフルトラッキング3Dモーションキャプチャーする時代が到来しつつある件

　恐らく多くの人間は一度ぐらいはこう考えたことがあるだろう。

　ゲームのキャラになりたい。

　アニメや漫画のキャラになりたい。

　そういう姿で敵を倒して強くなって……みたいな妄想。

　筆者も当然ながら物書きをやったりするので、幼少時代からそういうのに憧れていたし、将来的に技術的にいろいろ解決していって自分が3Dゲームキャラクターのようになってゲームを遊べる時代が来ると考えていた。

　少なくても自分が老化して人生最後の瞬間を迎える前までには絶対そういう時代が来るだろう……とは。

　筆者が最初にそういう姿に疑似的になることが出来る事に気づいたのは2015年だ。

　某動画サイトでFaceRigと呼ばれるソフトが紹介され、一部の動画制作者がゲーム動画時に自身の様子をモーションキャプチャーにてトラッキングさせた状態で投稿し始めた頃である。

　このFaceRigについては3Dであったが、キャプチャできるのは顔と上半身の一部のみ。

　カメラで表情を読み取って誰でも疑似的にバーチャルキャラクターなることができるので、動画制作にあたってはキャラ絵を張り付けていちいち表情を変更する必要性が無いことから動画制作者の一部から作業が楽になるともてはやされた。

　そんな中、注目されはじめたのがLive2Dだ。

　Live2Dとは簡単に言えば2Dの静止画をモーフィングさせアニメーション映像を作り出すことが出来る技術である。

　もう少し噛み砕いて説明すると静止画のアニメ調キャラクター等を各種モーション設定することにより、あたかもアニメ絵のように疑似的に動かすことができるソフトウェアだとでも思っていただければと思う。

　技術的にはかなーり前から存在し、一部の動画制作者はこのソフトウェアを活用した動画制作を行っていたのだが……なんとFaceRigと組み合わせることで自身の表情をトラッキングさせることが出来るようになった。

　それもFaceRigが注目されたのと同時期である。

　そう、今やごく当たり前にYoutubeで配信活動が行われているVtuberのプロトタイプといっても過言ではない事ができるようになったのは大体この頃。

　当時の筆者は細々とブログなんかを書いていたわけだが、FaceRig＋Live2Dの存在を知ったその日には興奮気味に「この技術が発展すれば将来的にアニメはリアルタイムで配信できるのでは？」だとか「声優イベントとかそういうので使えたりするのでは？」だとか「理想のヒロインがいないなら……自分がなればいい」だとか気持ち悪い事を綴っており……実際にFaceRig＋Live2Dは試していたりする。

　というかその状態でニコ生やった事あるんで……筆者はVtuberのプロトタイプの一人だったかもしれない。

　一応言うと似たような事やってた人は当時の時点ですでに結構な数に上っていた事を説明しておこう。

　単純にゲーム配信してただけなんで彼らはVtuberとは言えないと思うが、中にはそのまま個人勢とかになって企業とかにも所属していった人もいるとは思う。（筆者は仕事の影響もあり継続できなかった）

　そうこうして試した結果至った結論が「これ絶対にビジネスモデルになるだろう」――というものであったのだが……当時は収益モデルなんて構築できるような状況ではなかった。

　おまけに筆者の認識がズレており「声優」と呼ばれる方々によってオリジナルキャラあるいはアニメキャラによってライブ配信していくべきだと考えており……

　実際にライブ配信者として要求される技術や視聴者受けするトーク力に目を向けていなかったのは情けない限り。

　まあ、黎明期のVtuberを考えると企業側も試行錯誤していたと思うわけだけど、ズレた認識ゆえに周囲に響くことも無く、企画を立ててみても仕事仲間含めて周囲にその話をしていても誰も振り向く事無く、悲しいかな業界に関与する事など微塵も無く現在にまで至っている。（残念ながらエンターテイメント業界とは業としては全く縁が無い）

　とはいえ、実際のVtuberというのは、すでにこの前後から活動を始めていたが3Dであり……筆者も最終的には3Dに集約されていくものとも同時に考えていた。

　Live2Dは通過点で、その方向性だと描画に限界があってどこかでマンネリ化して頭打ちになるとこの時点で考えてもいたのである。

　何しろ動かすにあたっては可動範囲等の限界があるわけだから、どうやったって描写の限界があるわけだ。

　それこそ複数のキャラモデルを駆使して本当に疑似的な3Dでも描けるようにでもならないと難しい。

　現状でもスピンさせる事はできるが、モーションキャプチャーによるスピンが極めて難しいように、どうしても平面の静止画をモーフィング処理させているので限界がある。

　だから3Dに再び向かっていくものだとは思っていた。

　それが何時になるのかは……読めなかったが。

　だが誰でも自宅などで簡単に一人で3Dをモーションキャプチャーできるような時代が来れば、それこそリアルタイムでアニメのように１つのエピソードを描くなんてことを目指していけるんじゃないかと、昔のNHKの特番の人形劇のように生放送すら可能なのではないかと、考えていた。

　どうやらその流れ……ついに来たみたいである。

　というか、今まさにバズる状態になる直前の導火線に火が付き始めた状態のように感じる。

　なぜバズってないのかわからないぐらいに。

　コロナで日々あれこれ様々なモノに追われているうちに気づいたらブレイクスルーが起きていたのである。

　さて、今日におけるVtuberの大半が3DではなくLive2Dを使用して配信しているのには単純な理由がある。

　コストだ。

　一応、3Dモデルを使用しての配信は可能ではあるがキャプチャできる範囲は限定的というのが2019年～2020年頃ぐらいまでの世間での認識であったと思う。

　他方3Dのフルトラッキング配信のためにはピチピチなエヴァのプラグスーツみたいなものを身に着け、トラッキング用のマーカーを装着しながらめっちゃ恥ずかしい恰好で大量のカメラに囲まれ、多くのスタッフの尽力のもと配信する……

　仮に一人でやろうものなら4桁万は余裕で投資が必要で、どんな人間ならできるんだっていうレベル。

　少なくてもこれから配信をやろうって人が将来的に実現できるかどうかの話であって、実現できる人間も一握り……なんて世界。

　企業所属でもない限り夢のまた夢。

　いや、正直大手なども含めた界隈を見ても、まだこの認識だと思う。

　上半身とか顔の周囲とか、FaceRigの頃から大きく進化していないというのが現状の多くの配信者の環境である。

　それがね、なんと驚くことに昨年頃からLive2D環境構築と殆ど大差無いコストで5点トラッキングさせたフルトラッキングと呼ばれる配信ができるようになってたんですよ。（正確には2年ほど前といってもいいかもしれない。機材の差があるのだが詳細は後述）

　もうね、最新技術に飢えていて常に様々な業界分野の最新技術情報を漁ってた自分がそれに気づかなかったのか。

　大変恥ずかしいです。

　コロナなんかに目を向けている場合じゃなかった。

　まず自宅等で簡易にできるモーションキャプチャー関係の技術について少し触れておこう。

　これは多くが位置検知のジャイロセンサーや光センサー等を活用したもので、機器の販売は2016年頃から。（他のタイプも存在）

　だが当時は検出能力が低く完成度も高くなく、それに対して値段も高いのでこれを導入して配信しようって人は殆どいなかった。（趣味的に使ってた人はいたが、足が地面にめり込んだり手が突然動かなくなったりまだまだ甘かった）

　その商品が大幅に改良されたのが2018年だったが、この時点ではトラッキング用マーカーは1個3万円近くし、仮にフルトラッキングするならこれを6つないし最大10個必要とした。（複数種併用）

　しかも追加のセンサー装置がないとこれらは足首等曲げられなくてさらに金がかかるし、いろいろ揃えると結局なんだかんだ100万円近くの初期投資が必要だったのでとても敷居が高かったのである。

　それが今どうなってるかって？

　任天堂Switchとほぼ同じ価格で5点トラッキング可能な商品が販売されてるんですよ。

　名前をHaritoraX。

　株式会社Shiftallが販売している商品で、日本人技術者が開発し、米国に渡って商品化した低価格のフルトラッキング用装置である。

　こいつとVRゴーグルを駆使すれば、あとは設定次第で誰でも簡単にフルトラッキング3D配信ができる。

　意味があるかどうかは関係ない。

　なれるんだ。

　10万円少々の投資で、ゲームキャラクターになることが。

　っていうかなってる人たちが出てきてるんだ。

　まだ少数だけどこの機器を使ってる個人だけで活動する配信者が。

　とんでもないブレイクスルーである。

　それどころじゃない。

　本機器はソフトウェアを組み合わせることでVRchat等で使用可能である。

　つまりメタバース内に疑似的に自分を存在させることが出来るのである。

　早い話が仮想空間内で踊ったりなんだりできるということで、やろうとすれば以前からできたが、よりローコストに誰でも身近な状態で実行できるようになった。

　おいおい……どういう事？

　なんか世間ではメタバースで将来的に自分自身を電脳空間に疑似的に押し込んで動き回れるようになり、人はその空間内で第二の生活を営めるようになるっていうが、もうかなりの状態でできるんだが。

　それも相当に完成度が高い状態で……である。（調整が必要だったり専門知識が必要だったりクセもあるが、そこはLive2Dもそんなに変わらない）

　しかも本製品以外にも多数の極めて完成度の高い、より安価なモーションキャプチャー用の機器の販売がここ1～2年で相次いで販売されていて……

　来ちゃったらしい。

　3D配信時代が。

　現状注目しているのは外国人であるのだが、Youtube等を検索してみてもらうとわかる通り日本人配信者もいるし、しかも機器等についての解説や仕組み、そして設定方法やメーカーごとの性能比較なんかも行っていたり、配信のために必要な器材をまとめている動画などもある。

　そして何よりも恐るべきはそれで踊ったりしている人たちが続々と現れている事。

　これはもうビッグウェーブが来ているといって過言ではないでしょう。

　終わるとは言わないけどLive2Dの時代変わるでしょう。（あと何年かかるかわからないけど10年かからないはず）

　21世紀らしい世界になってきちゃってるよ。

　人工皮膚で自己再生する能力のあるロボットといい、いよいよSF世界に入ってきた。

　筆者メタバースについては「こんなん流行するか？　大体流行するなら10年前にやってたセカンドライフなどはなぜコケたんだ？」などと考えていたが、HaritoraXの存在を確認して少し考え方が変わってきた。

　仮に一般人がやらずとも、エンターテイメントコンテンツとして使えるでしょうメタバース。

　世界中の人が一堂に集まってリアルタイムでもって作品作れる時代に入り始めてるんじゃないですか。

　それを最近知ってしまったんだが、もうそれからはHaritoraXの情報交換が盛んな国外のサイトなどを見て回る毎日。

　例えばHaritoraXの癖として、自身の現実世界の肉体の体格に3Dを合わせないと動きが妙な事になったりすることや。（他の機器でも発生しないわけではないが、より余裕が無い）

　あとは専用ソフトでキャリブレーションと呼ばれる調整を行った後に再び遊びたいゲーム等でキャリブレーションが必要になったりするが、

　きちんと3D側に体格を合わせて調整すると冗談抜きでこの金額でこんな高精度に動いていいのかと、一昔なら一体いくらかかっていたかと衝撃を受けるような状態での3Dフルトラッキングを自宅で行えることが出来るようになる。

　HaritoraX以外にも同様のことが出来る商品は相応にあるが、値段の安さが半端じゃない。

　公式サイトを見てもらえばわかるが2万7900円である。(2022年6月29日現在)

　とりあえず3Dになって動いてみたいと思うなら、これほど手を出しやすい価格も無いだろう。

　一応、本当により高精度にモーションキャプチャーさせていくには他の機材と組み合わせる必要性があるし、実際に複数の装置を駆使している方もいらっしゃるようだけど。

　それでも投資額は30万円程度で相当な領域に至れるとの事。

　Live2D関係より高いかもしれないが、手を伸ばせば十分に届く領域である。

　ちなみに体格に3Dモデルを合わせるということは手足が凄く長い人が子供体系になる事は難しく、その逆の人はモデル体型のキャラになりにくいことを意味しており、これらを突破するには3Dモデリング側で何とか錯覚できるようにデザインするしか無いようだ。（HaritoraXの場合、3Dモデルと本人の体格のシンクロ率が上がれば上がるほど自然な動きとなる）

　いや本当に……凄い時代になったものだ。

　何しろあまりに衝撃的だったので、エッセイにしてバズる前に書き残しておこうと思ってしまうほどである。

　万が一バズらなかったらLive2Dの時の将来の配信者像の予測と同じく、筆者の予測能力について認識に大きなズレが生じていたという事だが、それを試してみたくなった。

　配信者の皆様。

　3Dフルトラッキング配信……どうですか？

---

参考：HaritoraX及び Shiftall Inc official channel等

https://www.youtube.com/channel/UCr9zLDdNZGOnYi_RzngmM3g

公式サイト

https://ja.shiftall.net/products/haritorax

参考動画

https://youtu.be/TzW7HiE6NXE