Jetson NanoでPicam360を始めよう – 1: 必要な物と注意事項
2021-04-13 2021-05-29
Picam360カメラをJetsonNanoに接続して360度映像をリアルタイムストリーミングする手順を紹介します。
本稿の英語版→English version is available here.
こんちには、Picam360開発コミュニティのGAKUと申します。
前回の投稿ではPicam360の概要についてご紹介しました。今回はサーバーデバイスとビューワーアプリをセットアップして、360度映像をローカルネットワーク経由、またはインターネット経由でリアルタイムストリーミングする手順を紹介します。
サーバーデバイスとビューワーの組み合わせは複数あります。今後の投稿は以下の中から組み合わせて、いくつか紹介していきます。
- サーバーデバイス
Jetson Nano, Mac, WindowsPC
- ビューワーアプリ
スマホ(iOS, Android), ブラウザ, Oculus Quest
今回はJetson Nanoとスマホを接続します
今回はJetson Nanoにサーバーソフトウェアをインストールします。ビューワーはスマホを使用します。
本稿は連載でお送りする予定です。(記事数は変わるかも知れません)
- 必要な物と注意事項
- SDカードイメージの書き込み
- サーバーソフトウェアのインストール
- カメラキャリブレーション
- ビューワーアプリのインストール
- 接続する
説明に入る前に注意事項があります。
注意事項
機能制限
高度な機能を使用するための有償ライセンスがありますが、Picam360カメラを使用する場合は基本的に不要です。ライセンスは、独自に高スペックなシステムを構築されるケースで使用されることを想定しています。
ライセンス無しで使用する場合は以下の制限があります。下記以外の制限はありませんが、予告なく変更される場合があります。ライセンスに関するお問い合わせは、こちらのお問い合わせ窓口よりご連絡ください。
- フレームレート制限 最大15FPS
有償ライセンスはソフトウェアの最大FPS制限を解除します。ハードウェアポテンシャルに依る最大FPSは、カメラ入力画素数、ソフトウェアに対して設定する出力画素数、それらを処理するコンピューターのスペックによって最大FPSが変わります。ですので最大FPSは構築するシステム次第となります。目安は、GeForce RTX2060において出力画像サイズ2048×2048[pix]、 処理数300[frame/sec]です。PICAM360-4KHDRはカメラ出力が15FPSですのでライセンスは必要ありません。
- カメラ接続数制限 最大1カメラ
有償ライセンスはカメラの接続数制限を解除します。ステレオ3Dのように2カメラ以上接続するにはライセンスが必要ですが、Picam360カメラを2つ以上ご購入いただいた方には2カメラ接続が可能になる基本機能ライセンスを無料で提供します。Picam360ブランド以外のカメラを2つ以上接続する場合は有償ライセンスが必要になります。
ネットワーク経由での接続性は保証しません
ローカルネットワーク、インターネット経由の接続は共にネットワーク環境によって接続できない場合があります。特にWebRTCを使用するインターネット経由の接続はルータのセキュリティ設定やPCのファイヤーウォールなどによって接続できない場合が多くあります。
- 保証されない接続方法
ローカルネットワーク、インターネット経由の接続
- 保証される接続方法
LANケーブルの直接接続（アンチウィルスソフトは無効であること）
セキュリティはご自身で担保してください
ローカルネットワーク経由で接続する場合にクライアントがホストにアクセスするために必要な情報はホストIPアドレス＋ポート番号のみです。インターネット経由(WebRTC)で接続する場合に必要とする情報は設定したキーのみです。単純な接続プロセスを採用していますので、セキュリティー対策はご自身の責任で行ってください。ソースコードはオープンソースとしてGitHubで公開しています。
必要な物
堅苦しい注意事項が長くなりましたが重要なことですので、最初に記載しました。Picam360を購入される前にご一読ください。
さて、本題に戻ります。本稿では以下のアイテムを使用します。
- PICAM360-4KHDR
PICAM360-4KHDR x 1個。ステレオ3Dの場合は2個ですが、ステレオ3Dの設定は次回以降の投稿で説明します。
- Jetson Nano Developer Kit
2GB版、通常版のどちらでもOKです。
- Wi-Fiアンテナ
Ethernetを利用する場合、Wi-Fiアンテナは不要です。
2カメラで使用する場合はM2カードタイプかUSB3.0で且つ5GHz接続に対応しているUSBドングルを使用してください。
どのWi-FiアンテナでもJetsonNanoで動作するわけではありません。インターネットで「Jetson Nano WiFiアンテナ」で検索し、動作が確認されていて且つ現在も入手可能なWiFiアンテナを探してください。
カメラ2つでUSBドングルタイプを使用する場合：
USB3.0で且つ5GHz接続に対応しているUSBドングルを使用してください。
・USB3.0を使用する理由は、USBの帯域不足を回避するためです。USB2.0のPicam360カメラを2つとUSB2.0のWi-Fiドングルを使用すると、USBホストコントローラーが処理できるデータよりも多くのデータを送信しようとする問題に陥ります。帯域幅は、一般にUSB規格間では無関係なので、Wi-FiドングルをUSB3.0にすることで問題を解消します。
・5GHz接続を使用する理由は、通信エラーを回避するためです。2.4GHz帯のWi-Fiの電波とUSB3.0は干渉を起こし、通信速度低下や通信切断が起きます。
2021年5月現在、日本のアマゾンで以下のような商品が販売されています。動作確認は行っていません。恐れ入りますがご自身の責任においてご購入ください。
Geekworm 無線LANアダプタ、USB3.0高速モデル デュアルバンド バイパワー アンテナ、NVIDIA Jetson Nano開発キットに適用
カメラ1つでUSBドングルタイプを使用する場合：
2021年3月現在でこちらのウェブサイトで紹介されていたUSBドングルタイプ。
M2カードタイプを使用する場合：
Jetson Nano 2G版はM.2インターフェイスが無いので、M2カードタイプは利用できません。
Nvidia公式ではこちらのページに記載されているカードタイプのアンテナが推奨されています。推奨品以外は動かない場合が多いので、推奨品の使用をお勧めします。
2021年3月現在でNvidia社推奨のM2カードタイプを日本のアマゾンで検索した結果の商品リンクです。
M2カード用アンテナは同じものは日本のアマゾンで販売されていません。以下は同等品です。動作確認は行っていません。
– NGFF M.2 ネットワーク 8dBi WiFi 4G アンテナ RP-SMA U.FL MHF4 ピグテール ケーブル
- microSDカード (32GB, UHS-1以上)
Jetson Nanoでは、ブートデバイスおよびメインストレージとしてmicroSDカードを使用しています。プロジェクトに十分な速度とサイズのカードを用意することが重要です。推奨される最小値は、32GBのUHS-1カードです。
- 電源 (5V, 2.5A以上)
Jetson Nanoに電源を供給します。ステレオカメラシステムとして使用する場合は、5V、4A以上をお勧めします。電流値がそれ以下のものを使用すると、電力不足によるエラーが発生することがあります。
（Jetson Nano標準版）Jetson Nanoは電源にDCジャックも使用できます。使用する場合は、ジャンパーピンを接続することで、USB端子から、DCジャックへ電源を切り替えられます。
- PC
ssh接続してリモートでJetson Nanoを操作するために使用します。Jetson Nanoの操作に直接モニタやキーボードを接続して操作したい方は必須ではありません。本稿ではssh接続を使用した方法を説明します。
- キーボード、マウス、ディスプレイ(HDMIまたはDisplayPort)
設定に使用します。
- カメラキャリブレーションボード
下記のリンクから型紙ファイルをダウンロードします。ファイルを100％の印刷倍率で印刷し、厚紙などの平らで硬い板に貼り付けます。
以上で必要なアイテムが揃いました。次に続く。
連載: Jetson NanoでPicam360を始めよう
Picam360リンク：
- ウェブサイト： https://www.picam360.com
- ウェブストア： https://store.picam360.com
- Twitter: https://twitter.com/picam360
- Facebook: https://www.facebook.com/Picam360/
