※本記事は2025年5月15日にカバー公式noteにて公開された記事を再掲載したものです。

こんにちは。
カバー株式会社クリエイティブ制作本部技術開発部エンジニアのSです。
いつもCOVER Techをご愛読いただきありがとうございます。

以前公開した記事『おうち3D配信を支えるトラッキングシステムについて』では、ホロライブアプリのトラッキングシステムをご紹介しました。
今回は、そのシステムをさらに改良した取り組みについてご紹介します。
具体的には、体と指のトラッキングデバイスをそれぞれ自由に組み合わせられるようにしました。
本記事では、以下の内容について説明します。

※おうち3D配信を支えるトラッキングシステムについての記事はこちら

ホロライブアプリとは？

ホロライブアプリとはタレントの皆様が配信するときに使用するアプリのことです。
タレントの皆様はこのアプリを使って様々な衣装に着替えたり、サングラスなどのアクセサリをつけたりすることができます。
さらに、iPhoneなどを活用したトラッキングシステムやOSCを活用した通信システムなどを構築して、タレントの皆様の配信をサポートしています。

本記事では、そんなホロライブアプリのトラッキングシステムを改良した話となっています。

なぜ改良したの？

元々の発想としてはiPhoneによる表情のトラッキングと、様々なハンドトラッキングデバイスを自由に組み合わせて使用できれば、より豊かな表現が可能になるのではないかと考えたのが始まりでした。
普段、VTuberの配信を見ていると、頭部は活発に動いている一方で、身振り手振りを使ったインタラクションは比較的少ない印象を受けます。
従来のホロライブアプリでもToF ARを用いたハンドトラッキングは存在しましたが、iPhoneのカメラ画角の範囲内でしかトラッキングできないという制約があり、全身を使った表現には限界がありました。
そこで、「自宅で手軽に、上半身を自由に動かしながら、指の細かな動きもトラッキングできる」ようなシステムを実現するにはどうすればいいのかという課題に対して、一つの具体的なユースケースを見出しました。
それが、ソニー株式会社が開発したモーションキャプチャーデバイス「mocopi」の上半身モードと、任意のハンドトラッキングデバイスを組み合わせるというユースケースです。
このユースケースを実現するためには、従来のトラッキングシステムを改良する必要がありました。

技術概要

様々なトラッカーデバイスの組み合わせ方を考えた結果、私たちはトラッキングの処理を3つに分割し、それぞれ独立して制御できるように設計しました。
これにより、様々なメーカーの多様なトラッカーを柔軟に組み合わせて利用することが可能になります。

1. フェイストラッキング： 顔の動きや表情のトラッキングです。iPhoneのTrueDepthカメラを活用したToF ARや、汎用的なWebカメラを活用したMediaPipeなどを利用することが考えられます。
2. ボディトラッキング： 全身や上半身の動きのトラッキングです。小型で手軽なmocopi、高精度な全身トラッキングが可能なRokokoスーツなどが該当します。
3. フィンガートラッキング： 指の細かな動きのトラッキングです。ToF ARに加え、より高精度なトラッキングが可能なRokokoグローブやContactGlove2などが選択肢となります。

実装の詳細

以前の記事でご紹介した「トラッキング入力の統合」の部分を今回の目的のために改良しました。トラッキングシステムの詳細に関しては、「おうち3D配信を支えるトラッキングシステムについて」の記事を参照してください。

従来は、各トラッキング入力からのデータを統合し、全身を動かすための指令値として出力する仕組みでした。
今回の改良では、各トラッキング入力からのデータを、ひとまず「ボディの指令値」と「指の指令値」という中間的なデータとして分離しました。その後、これらの分離された指令値を最終的に統合し、全身を動かすための指令値として出力する仕組みに変更しました。

このように、処理の流れを段階的に分離することで、それぞれのデータストリームを柔軟に組み合わせることが可能になりました。

動作結果

実際に複数のトラッキングデバイスを組み合わせた際の比較映像をご覧ください。

二人ともボディトラッキングにmocopiの上半身モードを使用し、フィンガートラッキングには異なるデバイスを使用しています。赤い人物はToF ARを使用しており、青い人物はRokokoグローブを使用しています。

赤い人物にご注目いただくと、冒頭で説明した通り、ToF ARはiPhoneのカメラを通して指の動きをトラッキングするため、カメラの画角から外れてしまうとトラッキングが途切れてしまうのがお分かりいただけるかと思います。一方、青い人物はグローブ型デバイスを使用しているため、カメラの画角に制約されることなく、安定した指のトラッキングが可能です。

しかし、ToF ARにも利点があります。それは、特別なデバイスを一切体に装着することなく、iPhoneのカメラだけで手軽に指の動きをトラッキングできる点です。カメラの画角内にしっかりと手を収めることができれば、ご覧の通り、指の動きを正確にトラッキングすることができます。

この画像は、二人ともサムズアップしている様子です。赤い人物は親指がしっかりと上がっているのに対し、青い人物は、グローブのサイズと私の手のサイズが必ずしも一致していないことが原因かもしれませんが、親指が上がっていないように見えます。

これらの比較を通して明確になったのは、各トラッキングデバイスにはそれぞれ固有の長所と短所が存在し、使用する状況や目的によって最適なデバイスが異なるということです。今回のトラッキングシステムの改良によって、ユーザーはこれらのデバイスを自由に組み合わせ、それぞれの特性を最大限に生かした表現が可能になります。

まとめ

今回の記事では、ホロライブアプリのトラッキングシステムにおける、ボディトラッキングとフィンガートラッキングのデバイスを自由に組み合わせるための改良についてご紹介しました。
この技術によって、タレントの皆様のより自由で豊かな表現を、視聴者の皆様にお届けできると期待しています。
この機能は現在開発最終段階にあり、今後タレントの皆様に公開される予定です。
タレントの皆様から意見をいただき、より良い配信システムにしたいと考えています。