Jetson Nanoと魚眼カメラで全天球の映像をライブストリーミングしてみた
2つのPicam360カメラを全天球カメラとして設定しライブストリーミングする手順をご紹介します。 本稿の英語版→English version is available here. こんちには、Picam360開発コミュニティのGAKUと申します。 今回は2つのPicam360カメラを全天球カメラに設定する手順をご紹介します。 半天球と全天球 半天球カメラは球体のおおよそ半分の範囲を撮影できるカメラの総称です。撮影に不要な範囲や、撮影者、三脚などが写らないように調整することができます。Picam360は半天球カメラです。 全天球カメラは全ての方向を同時に撮影できるカメラです。撮影現場をくまなく記録できます。今回の記事では2つのPicam360を全天球カメラとしてセットアップします。 つなぎ目接合処理 複数のカメラで撮影した画像を1つの360度画像に合成するために画像の境界を繋ぎ合わせる必要があります。ソフトウェアにより画像を繋ぎ合わせる処理をスティッチングと言います。2つのPicam360カメラのストリーミングに必要な処理に加えてスティッチングをおこなうにはJetson Nanoの計算リソースだと少し足りません。その為、Picam360ソフトウェアでは境界エリアを少し透過させて重ね合わせる簡易的な接合を採用しています(アルファブレンディング)。 今回使用した物 カメラ: PICAM360-4KHDR (8MP, WDRモデルでも可) x 2台 サーバーデバイス: Jetson Nano ビューワー: マルチプラットフォーム対応のビューワーアプリ「PViewer」を使用します。詳しくはこちらをご覧ください。この記事内に掲載しているビューワーの画像はMac版のPViewerです。 条件に合うWi-Fiアンテナを使用します 2つカメラを接続する場合には使用するWi-Fiアンテナの選定に注意が必要です。<Jetson NanoでPicam360を始めよう – 1: 必要な物と注意事項>のWi-Fiアンテナの項に記載の条件に一致するアンテナを使用してください。おすすめはM.2 Wi-FiカードのIntel Dual Band Wireless-AC 8265です。動作についてはNvidia社お墨付きです。 カメラの設置 記事冒頭の写真はM2(mm)のスペーサーで2つのカメラを固定しています。 こちらのページに3Dプリントできるステレオカメラ用のデザインデータを公開しています。全天球用のホルダーは用意していなくてごめんなさい。ご自身でカメラホルダーを作成される場合に寸法や形状の参考にしていただければ幸いです。 セットアップ セットアップ手順はステレオカメラのそれとほぼ同じです。下記のステレオカメラのセットアップ手順のページを参照しセットアップしてください。この記事ではステレオカメラの手順と異なる箇所を説明します。 ステレオカメラ設定と異なる部分 ソフトウェアライセンス不要:全天球の設定にソフトウェアライセンスは不要です。ステレオカメラの手順に含まれるライセンス認証用キーに関するステップは飛ばしてください。…
Live streaming of stereo fisheye camera video with Jetson Nano
Here are the steps to set up two Picam360 cameras as stereo cameras and live stream the VR3D video. Hello, my name is GAKU from the Picam360 developer community. It’s been a while since I’ve posted anything. In this post, I will show you the…
Jetson Nanoでステレオ魚眼カメラの映像をライブストリーミングしてみた
2つのPicam360カメラをステレオカメラとして設定しVR3D映像をライブストリーミングする手順をご紹介します。 本稿の英語版→English version is available here. こんちには、Picam360開発コミュニティのGAKUと申します。 久しぶりの投稿です。今回は2つのPicam360カメラをステレオカメラに設定する手順をご紹介します。 ステレオカメラとは? 人間の目と同じ原理で立体的な映像を見ることができるカメラです。私たちの目は2つの目で見ているため立体的に物を見ることができます。カメラも同じで、2台のカメラを並べて撮影し、左右の目でそれぞれのカメラの映像を見ると立体的に見えます。 今回使用した物 カメラ: PICAM360-4KHDR (8MP, WDRモデルでも可) x 2台 サーバーデバイス: Jetson Nano ビューワー: Android版のPViewer ソフトウェアライセンスが必要です ステレオカメラの使用にはソフトウェアライセンスが必要です。Picam360カメラを2台以上ご購入いただいた方にはライセンスを進呈します。ライセンスが必要な方は<こちら>からお問い合わせください。 条件に合うWi-Fiアンテナを使用します 2つカメラを接続する場合には使用するWi-Fiアンテナの選定に注意が必要です。<Jetson NanoでPicam360を始めよう – 1: 必要な物と注意事項>のWi-Fiアンテナの項に記載の条件に一致するアンテナを使用してください。おすすめはM.2 Wi-FiカードのIntel Dual Band Wireless-AC 8265です。動作についてはNvidia社お墨付きです。 カメラの設置 2つのカメラの設置間隔は人間の2つの目の距離に合わせると映像を自然な感覚でみることができます。対象物が常に遠い場合はカメラの間隔をさらに広げると立体感を得られます。 こちらのページから3DプリントできるPicam360カメラホルダーのデザインデータを取得することができます。 3Dプリンターが無い場合はプラスチックボード等で作ってもよいでしょう。 サーバーデバイスのセットアップ まず通常のセットアップを行ってください。Jetson Nanoのセットアップ手順は以前に投稿した下記の記事にあります。 <検証済み環境>に記載のある環境でセットアップしてください。それ以外の環境では動作しない場合があります。 ラズパイは<こちら>。通常のセットアップが完了したら、次のステップでステレオカメラの設定を行います。…
Live streaming of fisheye camera video in VR and viewing on Mac
Learn how to view live 360-degree camera video on a Mac. Hello, my name is GAKU from the Picam360 developer community. In previous posts, I wrote how to live stream Picam360’s fisheye video as VR video using Jetson Nano and Raspberry Pi. In those posts,…
魚眼カメラの映像をVRでライブストリーミングしてMacで見てみた
360度カメラのライブ映像をMacで見る方法をご紹介。 本稿の英語版→English version is available here. こんちには、Picam360開発コミュニティのGAKUと申します。 以前の投稿で、Jetson NanoやRaspberry Piを使ってPicam360の魚眼映像をVR映像としてライブストリーミングする方法をご紹介しました。その記事の中ではスマホアプリでライブ映像を視聴していましたが、Picam360のViewerアプリはさまざまなプラットフォームに対応しています。今回はMacでライブ映像を視聴してみます。 【過去記事】スマホアプリで視聴する様子: Jetson Nanoで魚眼カメラの映像をVRでライブストリーミングしてみた 今回使用した物 カメラ: PICAM360-4KHDR (8MP, WDRモデルでも可) サーバーデバイス: Jetson Nano (Windows, Mac, Raspberry Pi, Linuxも対応しています) ビューワー: Mac版のPViewer (Mac以外にアンドロイド、iOS、Windows、Oculus、ブラウザのアプリがあります) サーバーデバイスのセットアップ手順: Jetson Nanoのセットアップ手順は以前に投稿した下記の記事にありますので参照してみてください。ラズパイは<こちら>。 Jetson NanoでPicam360を始めよう – 1: 必要な物と注意事項 Macにビューワーアプリをインストールする手順: Macにビューワーアプリをインストールする手順は下記ページの[ビューワーアプリのインストール]の項目です。 Jetson NanoでPicam360を始めよう – 5: ビューワーアプリのインストール 接続してライブ映像を見てみる:…
Protected: カメラキャリブレーション
There is no excerpt because this is a protected post.
Live Streaming of Fisheye Camera Footage in VR with Jetson Nano
Hello, my name is GAKU from the Picam360 development community. I filmed a live streaming of Picam360’s fisheye video as VR video using the PICAM360-4KHDR and Jetson Nano to live stream VR video over the internet. The video below is a capture of the screen…
Jetson Nanoで魚眼カメラの映像をVRでライブストリーミングしてみた
本稿の英語版→English version is available here. こんちには、Picam360開発コミュニティのGAKUと申します。 Picam360の魚眼映像をVR映像としてライブストリーミングする様子を撮影してみました。PICAM360-4KHDRとJetson Nanoを使って、インターネット越しにVR映像をライブストリーミングしています。下方の動画はスマートフォンのアプリで映像の視聴方向をコントロールしていて、そのスマホの画面をキャプチャしたものです。 この画質でビットレートは2MBps!モバイルネットワーク越しでもネットワーク速度が問題にならない軽さです。 カメラ: PICAM360-4KHDR サーバーデバイス: Jetson Nano ビューワー: PViewer (アンドロイドアプリ; その他、iOS版、デスクトップ版、ブラウザ版もあり) Picam360についてこちらの記事でも詳しく紹介しています: 新しいソフトウェアをリリースしました Picam360リンク: ウェブサイト: https://www.picam360.com ウェブストア: https://store.picam360.com Twitter: https://twitter.com/picam360 Facebook: https://www.facebook.com/Picam360/
Raspberry Piで魚眼カメラの映像をVRでライブストリーミングしてみた
Picam360カメラをRaspberry Piに接続して360度映像をリアルタイムストリーミングする手順を紹介。 本稿の英語版→English version is available here. こんちには、Picam360開発コミュニティのGAKUと申します。 Raspberry Pi4を使用して、Picam360の魚眼映像をVR映像としてライブストリーミングしてみました。今回はその手順をご紹介します。 実際の映像 Raspberry Piからスマホにリアルタイムストリーミングして、画面をキャプチャしたものです。(キャリブレーションをちゃんとやっていないので若干歪んでます) どうでしょうか?ビューワーも映っている状態で撮影したので実際の使用感は伝わるんじゃないかと思います。 今回のストリーミングのビットレート設定は1.5MBpsでした。Raspberry PiはJetson Nanoに比べて性能が劣るので解像度、フレームレートが低めですが(なのでJetson Nanoを使う方がおすすめです)、用途によっては使えると思います。 準備するもの Raspberry Pi4 Picam360 PICAM360-4KHDR, PICAM360-CAMPT8MP, PICAM360-CAMTWDRのいずれでもOK。Raspberry Piの処理性能故に入力画素数が落ちるが、実際に見ると画質的にはやはりPICAM360-4KHDRが綺麗です。 動作環境 Raspberry Pi: Raspberry Pi 4 OS: Raspberry Pi OS Buster (Bullseyeでは動作しません) npm: 6.14.3 node: v14.17.1 node-pserver: 0.1.5 接続方法: WebRTC (WebSocket接続は使用不可)…
Live Streaming of Fisheye Camera Footage in VR with Raspberry Pi
Learn how to connect a Picam360 camera to a Raspberry Pi and stream 360 degree video in real time. Hello, my name is GAKU from the Picam360 development community. Using the Raspberry Pi4, I tried to live stream Picam360’s fisheye video as VR video. In…
Verified Environment
We are updating this page with environments that have been confirmed to work properly. Jetson Nano + Picam360 Combination confirmed to work properly. for Audio (lab) node: v14.20.0 node-pserver: 0.1.11 PViewer mac (node-pviewer): 0.2.1 ios: 1.4.0 android: 1.4.0 2021_12_12 Jetson Nano Disk Image: jetson-nano-jp451-sd-card-image.zip (stereo does not work…
Jetson NanoでPicam360を始めよう – 6: 接続する
Picam360カメラをJetsonNanoに接続して360度映像をリアルタイムストリーミングする手順を紹介する連載、今回は最終回の第6回です。 本稿の英語版→English version is available here. こんちには、Picam360開発コミュニティのGAKUと申します。 前回の投稿ではビューワーアプリのインストール手順を紹介しました。最終回の今回はビューワーアプリからJetson NanoのPicam360に接続してリアルタイム映像を視聴するまでの手順を紹介します。 2つの接続経路 ローカルネット内接続: 同一ローカルネット内にあるJetson Nanoへ同じネットワーク内のビューワーアプリから接続します。この場合、外部ネットワークからはアクセスできません。 インターネット経由接続: WebRTCを使用してJetson Nanoへインターネット経由で接続します。外出先からスマホで自宅にあるJetson Nanoへ接続するといった使い方ができます。 事前注意 ネットワーク経由での接続性は保証されません: ローカルネットワーク、インターネット経由の接続は共にネットワーク環境によって接続できない場合があります。特にWebRTCを使用するインターネット経由の接続はルータのセキュリティ設定やPCのファイヤーウォールなどによって接続できない場合が多くあります。 [ 保証されない接続方法 ] ローカルネットワーク、インターネット経由の接続 [ 保証される接続方法 ] LANケーブルの直接接続(アンチウィルスソフトは無効であること) セキュリティはご自身で担保してください: ローカルネットワーク経由で接続する場合にクライアントがホストにアクセスするために必要な情報はホストIPアドレス+ポート番号のみです。インターネット経由(WebRTC)で接続する場合に必要とする情報は設定したキーのみです。単純な接続プロセスを採用していますので、セキュリティー対策はご自身の責任で行ってください。ソースコードはオープンソースとしてGitHubで公開しています(一部モジュールを除く)。 インターネット経由での接続を有効化する手順 設定ファイルを開きます。 $ cd ~/pserver $ nano jetbot-vr180x1-config.json インターネット経由で接続するための設定: # 入力例 “wrtc_enabled” : true, “wrtc_key”…