3Dスタジオ配信を支える新カメラデバイス

※本記事は2024年11月28日にカバー公式noteにて公開された記事を再掲載したものです。

かわいい！ポジティブ！ジーニアス！
カバー株式会社クリエイティブ制作本部技術開発部エンジニアのLuncoだよ～！

今回はカバーのスタジオでReGLOSS3Dお披露目配信から導入した新しいカメラデバイスについて紹介します。

INDEX

カバーのスタジオで使用している手持ちカメラについて

カバーのスタジオではVICONを使用してモーションキャプチャをしています。
モーションキャプチャで取得した動きは、内製のアプリ(以下スタジオアプリと呼びます)へ送信、スタジオアプリ内で3D映像をつくり、生配信や動画としてみなさまにお届けしています。

モーションキャプチャでは体の動きだけではなくプロップ(小道具のことをプロップと呼びます)のモーションキャプチャも可能となっており、プロップの位置をスタジオアプリ内でカメラとして扱い手持ちカメラを実現しています。

従来手持ちカメラとして使用していたものは画像のようなものになります。

実際に映像を撮るためのカメラと比べるとかなり簡素ですね。

実際のカメラと違ってこのカメラではZoomやFocusの調整ができません。
しかしライブやバラエティなどではカメラのZoomやFocusを使った演出は欠かせません。
今回はこれを実現するために作成した自作デバイスの制作について書いていきたいと思います。

自作デバイスの制作

せっかく自作をするのでカメラチームと相談して、実際のレンズの操作部分を模した同じ操作感で扱えるものを制作することになりました。

カメラマンさんが実際のカメラの様に扱うためには、気にするポイントがいくつかあります。

ある程度実物と大きさを揃えること
回転動作が重すぎず、軽すぎないこと
1回転あたりの分解能が高いこと

また、スタジオ内で使用するためにはいくつかの条件があります。

広いスタジオ内で安定したワイヤレス通信で使用できること
通信等トラブルがあった際、高速に復帰できること
動作が静かで、マイクに乗らない程度の動作音であること

これらの条件を満たすために使用する技術やハードウェアを選定します。

まず筐体についてですが、3Dプリンターを使用して自作しました。

筐体の外側にカメラのように回す箇所を用意しました。
これをスタジオアプリと連動するためには、回す部分がどれくらい回されたかを数値にし、何らかの手段を用いてスタジオアプリまで届ける必要があります。

無線通信のための通信方式についてですが、BluetoothもしくはWi-Fiを最初に思い浮かべました。
カバーのスタジオの中で一番広いスタジオは、有効キャプチャ範囲換算で18m×9m程度の広さがあります。
実際の部屋のサイズはキャプチャエリアよりも広いので、Bluetoothだと少し心もとなく、Wi-Fiを使用してネットワーク経由でスタジオアプリへ送ることとしました。

マイコンデバイスですが、上記をふまえ今回はWi-Fiを気軽に扱えるM5Stackを使用することにしました。

センサー部分ですが一番最初に思いつくのはロータリーエンコーダーですが、ロータリーエンコーダーは電子工作向けに販売されているものだと1回転辺り30〜60パルス程度です。(1回転辺り60パルスだと6度ずつしか判別できません)
リングの直径を75mmで設計したので、60パルスのものを使用した場合の1パルス送るために必要な移動量は 75mm × π * (6 / 360) = 3.92699081… ≈ 約4mm となります。
約4mmに1回の分解能ではスムーズなズーム操作ができないので、高分解能を実現するためにはギアを使って外周の移動量に対するエンコーダー部分の回転数を稼ぐ必要があります。

しかしギアを使用するとギアの動作音を抑えることが難しく、ギアを使うのは難しいという判断になりました。

ロータリーエンコーダー以外の方法で回転や移動を静かに高解像度で取得できる方法を考える必要があります

静かで高分解能に移動値を取得できるもの…パソコンの前に座って考えました。

静かで…
高分解能で……
移動値を検出できるもの………
………
……
…