Tag: Jetson Nano

Oculus Quest2に8Kパノラマ動画をライブストリーミングしてみた

ステレオカメラに設定したPicam360の3DVRライブ映像をOculus Quest2で視聴してみます。この記事ではその手順をご紹介します。 本稿の英語版→English version is available here. こんちには、Picam360開発コミュニティのGAKUと申します。 ステレオカメラに設定したPicam360の3DVRライブ映像をOculus Quest2で視聴してみます。この記事ではその手順をご紹介します。 タイトルの8Kというのは4KのPicam360カメラ2台の合計した解像度から来ています。それはちょっとずるい書き方ではあるのですが、一般的に販売されているVRヘッドセットの解像度は両眼の解像度を合わせた数値で表記されていることが多いので、その表記に合わせてみました。 セットアップの流れ 1: 2台のPicam360カメラとJetson Nanoをステレオカメラとしてセットアップ 2: Oculus用PViewerアプリのビルドとインストール 3: ライブストリーミング No.1の手順は以前の記事でご紹介していますので、今回の記事の内容はNo.2のOculus用PViewerアプリのビルドとインストールの手順がメインです。 今回使用した物 カメラ: PICAM360-4KHDR x 2台 サーバーデバイス: Jetson Nano ビューワーデバイス:  Oculus Quest2 アプリをビルドするPC:Mac or Windows or Linux 今回の記事ではビルドにはMacを使用して説明しますが、WindowsやLinuxでもほぼ同じです。 2台のPicam360カメラとJetson Nanoをステレオカメラとしてセットアップ ステレオカメラの設定手順は以前紹介した下記の記事を参照してセットアップしてください。 Jetson Nanoでステレオ魚眼カメラの映像をライブストリーミングしてみた Oculus用PViewerアプリのビルドとインストール Oculus用PViewerはunityを使っているので、作業はUnityのプロジェクトをセットアップしてAndroid向けにビルドするという流れになります。 unityのウェブサイトにアクセスしてunity…

Jetson Nanoと魚眼カメラで全天球の映像をライブストリーミングしてみた

2つのPicam360カメラを全天球カメラとして設定しライブストリーミングする手順をご紹介します。 本稿の英語版→English version is available here. こんちには、Picam360開発コミュニティのGAKUと申します。 今回は2つのPicam360カメラを全天球カメラに設定する手順をご紹介します。 半天球と全天球 半天球カメラは球体のおおよそ半分の範囲を撮影できるカメラの総称です。撮影に不要な範囲や、撮影者、三脚などが写らないように調整することができます。Picam360は半天球カメラです。 全天球カメラは全ての方向を同時に撮影できるカメラです。撮影現場をくまなく記録できます。今回の記事では2つのPicam360を全天球カメラとしてセットアップします。 つなぎ目接合処理 複数のカメラで撮影した画像を1つの360度画像に合成するために画像の境界を繋ぎ合わせる必要があります。ソフトウェアにより画像を繋ぎ合わせる処理をスティッチングと言います。2つのPicam360カメラのストリーミングに必要な処理に加えてスティッチングをおこなうにはJetson Nanoの計算リソースだと少し足りません。その為、Picam360ソフトウェアでは境界エリアを少し透過させて重ね合わせる簡易的な接合を採用しています(アルファブレンディング)。 今回使用した物 カメラ: PICAM360-4KHDR (8MP, WDRモデルでも可) x 2台 サーバーデバイス: Jetson Nano ビューワー:  マルチプラットフォーム対応のビューワーアプリ「PViewer」を使用します。詳しくはこちらをご覧ください。この記事内に掲載しているビューワーの画像はMac版のPViewerです。 条件に合うWi-Fiアンテナを使用します 2つカメラを接続する場合には使用するWi-Fiアンテナの選定に注意が必要です。<Jetson NanoでPicam360を始めよう – 1: 必要な物と注意事項>のWi-Fiアンテナの項に記載の条件に一致するアンテナを使用してください。おすすめはM.2 Wi-FiカードのIntel Dual Band Wireless-AC 8265です。動作についてはNvidia社お墨付きです。 カメラの設置 記事冒頭の写真はM2(mm)のスペーサーで2つのカメラを固定しています。 こちらのページに3Dプリントできるステレオカメラ用のデザインデータを公開しています。全天球用のホルダーは用意していなくてごめんなさい。ご自身でカメラホルダーを作成される場合に寸法や形状の参考にしていただければ幸いです。   セットアップ セットアップ手順はステレオカメラのそれとほぼ同じです。下記のステレオカメラのセットアップ手順のページを参照しセットアップしてください。この記事ではステレオカメラの手順と異なる箇所を説明します。 ステレオカメラ設定と異なる部分 ソフトウェアライセンス不要:全天球の設定にソフトウェアライセンスは不要です。ステレオカメラの手順に含まれるライセンス認証用キーに関するステップは飛ばしてください。…

Jetson Nanoでステレオ魚眼カメラの映像をライブストリーミングしてみた

2つのPicam360カメラをステレオカメラとして設定しVR3D映像をライブストリーミングする手順をご紹介します。 本稿の英語版→English version is available here. こんちには、Picam360開発コミュニティのGAKUと申します。 久しぶりの投稿です。今回は2つのPicam360カメラをステレオカメラに設定する手順をご紹介します。 ステレオカメラとは? 人間の目と同じ原理で立体的な映像を見ることができるカメラです。私たちの目は2つの目で見ているため立体的に物を見ることができます。カメラも同じで、2台のカメラを並べて撮影し、左右の目でそれぞれのカメラの映像を見ると立体的に見えます。 今回使用した物 カメラ: PICAM360-4KHDR (8MP, WDRモデルでも可) x 2台 サーバーデバイス: Jetson Nano ビューワー: Android版のPViewer ソフトウェアライセンスが必要です ステレオカメラの使用にはソフトウェアライセンスが必要です。Picam360カメラを2台以上ご購入いただいた方にはライセンスを進呈します。ライセンスが必要な方は<こちら>からお問い合わせください。 条件に合うWi-Fiアンテナを使用します 2つカメラを接続する場合には使用するWi-Fiアンテナの選定に注意が必要です。<Jetson NanoでPicam360を始めよう – 1: 必要な物と注意事項>のWi-Fiアンテナの項に記載の条件に一致するアンテナを使用してください。おすすめはM.2 Wi-FiカードのIntel Dual Band Wireless-AC 8265です。動作についてはNvidia社お墨付きです。 カメラの設置 2つのカメラの設置間隔は人間の2つの目の距離に合わせると映像を自然な感覚でみることができます。対象物が常に遠い場合はカメラの間隔をさらに広げると立体感を得られます。 こちらのページから3DプリントできるPicam360カメラホルダーのデザインデータを取得することができます。 3Dプリンターが無い場合はプラスチックボード等で作ってもよいでしょう。   サーバーデバイスのセットアップ まず通常のセットアップを行ってください。Jetson Nanoのセットアップ手順は以前に投稿した下記の記事にあります。 <検証済み環境>に記載のある環境でセットアップしてください。それ以外の環境では動作しない場合があります。 ラズパイは<こちら>。通常のセットアップが完了したら、次のステップでステレオカメラの設定を行います。…

魚眼カメラの映像をVRでライブストリーミングしてMacで見てみた

360度カメラのライブ映像をMacで見る方法をご紹介。 本稿の英語版→English version is available here. こんちには、Picam360開発コミュニティのGAKUと申します。 以前の投稿で、Jetson NanoやRaspberry Piを使ってPicam360の魚眼映像をVR映像としてライブストリーミングする方法をご紹介しました。その記事の中ではスマホアプリでライブ映像を視聴していましたが、Picam360のViewerアプリはさまざまなプラットフォームに対応しています。今回はMacでライブ映像を視聴してみます。 【過去記事】スマホアプリで視聴する様子: Jetson Nanoで魚眼カメラの映像をVRでライブストリーミングしてみた 今回使用した物 カメラ: PICAM360-4KHDR (8MP, WDRモデルでも可) サーバーデバイス: Jetson Nano (Windows, Mac, Raspberry Pi, Linuxも対応しています) ビューワー: Mac版のPViewer (Mac以外にアンドロイド、iOS、Windows、Oculus、ブラウザのアプリがあります) サーバーデバイスのセットアップ手順: Jetson Nanoのセットアップ手順は以前に投稿した下記の記事にありますので参照してみてください。ラズパイは<こちら>。 Jetson NanoでPicam360を始めよう – 1: 必要な物と注意事項 Macにビューワーアプリをインストールする手順: Macにビューワーアプリをインストールする手順は下記ページの[ビューワーアプリのインストール]の項目です。 Jetson NanoでPicam360を始めよう – 5: ビューワーアプリのインストール 接続してライブ映像を見てみる:…

Jetson Nanoで魚眼カメラの映像をVRでライブストリーミングしてみた

本稿の英語版→English version is available here. こんちには、Picam360開発コミュニティのGAKUと申します。 Picam360の魚眼映像をVR映像としてライブストリーミングする様子を撮影してみました。PICAM360-4KHDRとJetson Nanoを使って、インターネット越しにVR映像をライブストリーミングしています。下方の動画はスマートフォンのアプリで映像の視聴方向をコントロールしていて、そのスマホの画面をキャプチャしたものです。 この画質でビットレートは2MBps!モバイルネットワーク越しでもネットワーク速度が問題にならない軽さです。  カメラ: PICAM360-4KHDR サーバーデバイス: Jetson Nano ビューワー: PViewer (アンドロイドアプリ; その他、iOS版、デスクトップ版、ブラウザ版もあり) Picam360についてこちらの記事でも詳しく紹介しています: 新しいソフトウェアをリリースしました   Picam360リンク: ウェブサイト: https://www.picam360.com ウェブストア: https://store.picam360.com Twitter: https://twitter.com/picam360 Facebook:  https://www.facebook.com/Picam360/      

Jetson NanoでPicam360を始めよう – 6: 接続する

Picam360カメラをJetsonNanoに接続して360度映像をリアルタイムストリーミングする手順を紹介する連載、今回は最終回の第6回です。 本稿の英語版→English version is available here. こんちには、Picam360開発コミュニティのGAKUと申します。 前回の投稿ではビューワーアプリのインストール手順を紹介しました。最終回の今回はビューワーアプリからJetson NanoのPicam360に接続してリアルタイム映像を視聴するまでの手順を紹介します。 2つの接続経路 ローカルネット内接続: 同一ローカルネット内にあるJetson Nanoへ同じネットワーク内のビューワーアプリから接続します。この場合、外部ネットワークからはアクセスできません。 インターネット経由接続: WebRTCを使用してJetson Nanoへインターネット経由で接続します。外出先からスマホで自宅にあるJetson Nanoへ接続するといった使い方ができます。 事前注意 ネットワーク経由での接続性は保証されません: ローカルネットワーク、インターネット経由の接続は共にネットワーク環境によって接続できない場合があります。特にWebRTCを使用するインターネット経由の接続はルータのセキュリティ設定やPCのファイヤーウォールなどによって接続できない場合が多くあります。 [ 保証されない接続方法 ] ローカルネットワーク、インターネット経由の接続 [ 保証される接続方法 ] LANケーブルの直接接続(アンチウィルスソフトは無効であること) セキュリティはご自身で担保してください: ローカルネットワーク経由で接続する場合にクライアントがホストにアクセスするために必要な情報はホストIPアドレス+ポート番号のみです。インターネット経由(WebRTC)で接続する場合に必要とする情報は設定したキーのみです。単純な接続プロセスを採用していますので、セキュリティー対策はご自身の責任で行ってください。ソースコードはオープンソースとしてGitHubで公開しています(一部モジュールを除く)。 インターネット経由での接続を有効化する手順 設定ファイルを開きます。 $ cd ~/pserver $ nano jetbot-vr180x1-config.json インターネット経由で接続するための設定: # 入力例 “wrtc_enabled” : true, “wrtc_key”…