2021-12-15 2021-12-15

2つのPicam360カメラを全天球カメラとして設定しライブストリーミングする手順をご紹介します。

picam360 fulldome

本稿の英語版→English version is available here.

こんちには、Picam360開発コミュニティのGAKUと申します。

今回は2つのPicam360カメラを全天球カメラに設定する手順をご紹介します。

半天球と全天球

半天球カメラは球体のおおよそ半分の範囲を撮影できるカメラの総称です。撮影に不要な範囲や、撮影者、三脚などが写らないように調整することができます。Picam360は半天球カメラです。

半天球カメラの参考画像 : https://www.maspro.co.jp/products/pixpro/sp360/

全天球カメラは全ての方向を同時に撮影できるカメラです。撮影現場をくまなく記録できます。今回の記事では2つのPicam360を全天球カメラとしてセットアップします。

半天球カメラの参考画像: https://www.thetalab.ricoh/article/7937/

つなぎ目接合処理

複数のカメラで撮影した画像を1つの360度画像に合成するために画像の境界を繋ぎ合わせる必要があります。ソフトウェアにより画像を繋ぎ合わせる処理をスティッチングと言います。2つのPicam360カメラのストリーミングに必要な処理に加えてスティッチングをおこなうにはJetson Nanoの計算リソースだと少し足りません。その為、Picam360ソフトウェアでは境界エリアを少し透過させて重ね合わせる簡易的な接合を採用しています（アルファブレンディング）。

full dome boundary
PViewerで見た境界部。アルファブレンディング。

今回使用した物

  • カメラ: PICAM360-4KHDR (8MP, WDRモデルでも可) x 2台
  • サーバーデバイス: Jetson Nano
  • ビューワー:  マルチプラットフォーム対応のビューワーアプリ「PViewer」を使用します。詳しくはこちらをご覧ください。この記事内に掲載しているビューワーの画像はMac版のPViewerです。

条件に合うWi-Fiアンテナを使用します

2つカメラを接続する場合には使用するWi-Fiアンテナの選定に注意が必要です。<Jetson NanoでPicam360を始めよう – 1: 必要な物と注意事項>のWi-Fiアンテナの項に記載の条件に一致するアンテナを使用してください。おすすめはM.2 Wi-FiカードのIntel Dual Band Wireless-AC 8265です。動作についてはNvidia社お墨付きです。

カメラの設置

記事冒頭の写真はM2(mm)のスペーサーで2つのカメラを固定しています。

こちらのページに3Dプリントできるステレオカメラ用のデザインデータを公開しています。全天球用のホルダーは用意していなくてごめんなさい。ご自身でカメラホルダーを作成される場合に寸法や形状の参考にしていただければ幸いです。

camera holder stereo

 

セットアップ

セットアップ手順はステレオカメラのそれとほぼ同じです。下記のステレオカメラのセットアップ手順のページを参照しセットアップしてください。この記事ではステレオカメラの手順と異なる箇所を説明します。

ステレオカメラ設定と異なる部分

ソフトウェアライセンス不要：全天球の設定にソフトウェアライセンスは不要です。ステレオカメラの手順に含まれるライセンス認証用キーに関するステップは飛ばしてください。

全天球用の設定ファイル：ステレオカメラの手順に設定ファイルをダウンロードするステップがあります。そのステップでは全天球用の設定ファイルをダウンロードしてください。全天球用の設定ファイルはステレオカメラの設定ファイルと同じウェブページにあります。

ファイル名も違いますのでダウンロードコマンドのファイル名の部分もダウンロードした設定ファイルの名称に変更してください。

# 例
$ curl -Lo jetbot-vr360x2-config.json https://drive.google.com/u/3/uc?id=FILE_ID&export=download

セットアップが完了してpserverを起動するステップで出てくる起動コマンドのファイル名の部分も名称を合わせて実行してください。

# 例
$ export DISPLAY=:0 && pserver -c ~/pserver/jetbot-vr360x2-config.json

Jetson Nanoでステレオ魚眼カメラの映像をライブストリーミングしてみた

接続してライブ映像を見る

リアルタイムの全天球動画を見てみましょう。接続手順は下記の記事を参照してください。

Jetson NanoでPicam360を始めよう – 6: 接続する

 

今回の投稿は以上です。それではまた。

 

Picam360リンク：