Picam360 公式ブログ

WebRTCが繋がらない?中継サーバーを建ててみよう

websocketによるストリーミング機能をインターネット越しに利用するために通信を中継するサーバーを作成する手順を紹介します。 WebRTCはネットワークのセキュリティー対策によって接続できないことがあります。特に企業や学校といった組織ではFirewallが設置されていることがほとんどです。そのようなケースでは通信ポートの制限などによって接続ない場合があり、それを回避できないかどうかセキュリティー担当者に相談しても対応してもらうことは難しいかもしれません。 そこで今回はWebRTCを使わず、websocket通信でインターネット越しに通信できるようにするために、websocket通信をリレーするサーバーを作成する手順をご紹介します。 中継サーバーを建ててみよう 中継サーバーを用意する まず、中継サーバーとしてグローバルIPが分かるサーバーを用意します。サーバーはAWSやVPSなど、お好きなものをご利用ください。利用できるサーバーをお持ちでなかったり、別で簡単に試したいなら、Linode(最近Akamaiに買収されました)の月額5USDのNanodeプランがおすすめです。海外のVPSサービスですが日本のリージョンも選択できます。サーバーを時間単位課金で作ってすぐ捨てる事が出来きます。従量課金ではないので、データ量の多い映像通信に使っても安心です。 新規でサーバーを契約した場合は、最低限のセキュリティ対策を実施しましょう。 【チュートリアル】VPSを借りたらやるべき最低限のセキュリティ初期設定 今回の記事では中継サーバーはUbuntuがインストールされていると仮定します。作業PCはMacとします。 ポートフォワーディング専用ユーザーの作成 ビューワーとカメラは双方向で通信します。中継サーバーとカメラデバイスの通信はsshのポートフォワーディングを利用します。ポートフォワーディングを利用するためにカメラデバイスからsshで中継サーバーにログインできる環境を作る必要がありますが、ログインして色々操作されては困るため、「ほとんど何もできないユーザー」を作って、sshはそのユーザーを利用するようにします。 中継サーバーにログインします。 まずユーザー追加します。portforward_userはユーザー名です。お好きな名前に置き換えることができます。 $ sudo adduser portforward_user…

VRビューワー on Mac

Macにビューワーアプリをインストールする手順をご紹介します。 本稿の英語版→English version is available here. Macにビューワーアプリをインストールする手順をご紹介します。 ビューワーアプリのインストール on Mac Xcode ビューワーアプリはXcodeに含まれるコンポーネントを使用します。 MacにまだXcodeが入ってなければインストールします。XcodeはMac App Storeからインストールすることができます。 https://apps.apple.com/us/app/xcode/id497799835?mt=12  …

Jetson Nano B01 Kit 代替品

最近入手困難になっているJetson Nano開発者キットの代替品を紹介します。 本稿の英語版→English version is available here. こんちには、Picam360開発コミュニティのGAKUと申します。 この一年間の間に、Nvidia純正のJetson Nano開発者キットは、ほぼ入手困難な状況で、高額な転売品を除いて買えない状況になっています。Picam360の公式ストアにも「Jetson Nanoを売っているところを知らないか」「一緒に販売してもらえないか」というお問い合わせをいただくことがあり、Picam360のユーザーは日本国外が多いですので、そのことから世界的に入手困難な状況となっていることが分かります。この状況は、半導体不足の影響なのか、Nvidia社が開発者キットの生産を減産または停止しているのか、理由は分かりません。 この先、状況が改善されるのか不透明なので、Nvidia社以外のキャリアボードでPicam360ソフトウェアが動作するか試しました。今回の記事では、waveshare製JETSON-NANO-DEV-KITをご紹介します。 開発者キットとは Jetson NanoはJetson NanoモジュールとJetson Nano開発者キットという2つの形態で販売されています。簡単に言うとJetson…

簡単インストール:Dockerを利用したPicam360ソフトウェアのインストール

Dockerを利用してPicam360ソフトウェアのインストール済み環境を構築できるようになりました。 本稿の英語版→English version is available here. こんちには、Picam360開発コミュニティのGAKUと申します。 Dockerを利用してPicam360ソフトウェアのインストール済み環境を構築できるようになりました。以前の手順に比べて手順数が少なくなり、簡単にインストールできます。 注意点 今回ご紹介する手順によって構築される動作環境は、まだ完全ではありません。 カメラキャリブレーション機能にアクセスできません。暫定のキャリブレーション情報を適用するので使用できますが、画像に歪みがでます。(今後は自動キャリブレーション機能の実装を検討しています) ライセンス認証機能にアクセスできません。ステレオ機能はライセンス認証をしなくても動作しますが、FPSは7.5に制限されます。 これらは、改善されたタイミングでこの記事を更新していきます。 インストール手順に進む前に、Picam360ソフトウェアを使用する上での注意事項はこちらの記事を一読ください。 Jetson NanoでPicam360を始めよう –…

11K超えの最大14K!VRに最適な超高画質360度カメラが登場

最大45メガピクセル、4/3型大型イメージセンサを搭載し超高画質を実現したハイクオリティーカメラシリーズが登場しました。 本稿の英語版→English version is available here. こんちには、Picam360開発コミュニティのGAKUと申します。 4/3型大型イメージセンサを搭載し超高品質な360度映像を提供するPicam36oの新ラインナップ、ハイクオリティーカメラシリーズを発売しました。 PICAM360 ハイクオリティーカメラシリーズ 最大14K、45MPと21MPの2つのモデル 2つのモデルがあります。 PICAM360-FT45MP 4500万画素の超高解像度、フォーサーズサイズのイメージセンサーを搭載。最高の解像度を追求したパノラマカメラです。 全天球換算(*)で最大14Kの解像度となります。 モデル PICAM360-FT45MP…

Oculus Quest2に8Kパノラマ動画をライブストリーミングしてみた

ステレオカメラに設定したPicam360の3DVRライブ映像をOculus Quest2で視聴してみます。この記事ではその手順をご紹介します。 本稿の英語版→English version is available here. こんちには、Picam360開発コミュニティのGAKUと申します。 ステレオカメラに設定したPicam360の3DVRライブ映像をOculus Quest2で視聴してみます。この記事ではその手順をご紹介します。 タイトルの8Kというのは4KのPicam360カメラ2台の合計した解像度から来ています。それはちょっとずるい書き方ではあるのですが、一般的に販売されているVRヘッドセットの解像度は両眼の解像度を合わせた数値で表記されていることが多いので、その表記に合わせてみました。 セットアップの流れ 1: 2台のPicam360カメラとJetson Nanoをステレオカメラとしてセットアップ 2: Oculus用PViewerアプリのビルドとインストール…

Jetson Nanoと魚眼カメラで全天球の映像をライブストリーミングしてみた

2つのPicam360カメラを全天球カメラとして設定しライブストリーミングする手順をご紹介します。 本稿の英語版→English version is available here. こんちには、Picam360開発コミュニティのGAKUと申します。 今回は2つのPicam360カメラを全天球カメラに設定する手順をご紹介します。 半天球と全天球 半天球カメラは球体のおおよそ半分の範囲を撮影できるカメラの総称です。撮影に不要な範囲や、撮影者、三脚などが写らないように調整することができます。Picam360は半天球カメラです。 全天球カメラは全ての方向を同時に撮影できるカメラです。撮影現場をくまなく記録できます。今回の記事では2つのPicam360を全天球カメラとしてセットアップします。 つなぎ目接合処理 複数のカメラで撮影した画像を1つの360度画像に合成するために画像の境界を繋ぎ合わせる必要があります。ソフトウェアにより画像を繋ぎ合わせる処理をスティッチングと言います。2つのPicam360カメラのストリーミングに必要な処理に加えてスティッチングをおこなうにはJetson Nanoの計算リソースだと少し足りません。その為、Picam360ソフトウェアでは境界エリアを少し透過させて重ね合わせる簡易的な接合を採用しています(アルファブレンディング)。 今回使用した物 カメラ: PICAM360-4KHDR…

Jetson Nanoでステレオ魚眼カメラの映像をライブストリーミングしてみた

2つのPicam360カメラをステレオカメラとして設定しVR3D映像をライブストリーミングする手順をご紹介します。 本稿の英語版→English version is available here. こんちには、Picam360開発コミュニティのGAKUと申します。 久しぶりの投稿です。今回は2つのPicam360カメラをステレオカメラに設定する手順をご紹介します。 ステレオカメラとは? 人間の目と同じ原理で立体的な映像を見ることができるカメラです。私たちの目は2つの目で見ているため立体的に物を見ることができます。カメラも同じで、2台のカメラを並べて撮影し、左右の目でそれぞれのカメラの映像を見ると立体的に見えます。 今回使用した物 カメラ: PICAM360-4KHDR (8MP, WDRモデルでも可) x 2台…

魚眼カメラの映像をVRでライブストリーミングしてMacで見てみた

360度カメラのライブ映像をMacで見る方法をご紹介。 本稿の英語版→English version is available here. こんちには、Picam360開発コミュニティのGAKUと申します。 以前の投稿で、Jetson NanoやRaspberry Piを使ってPicam360の魚眼映像をVR映像としてライブストリーミングする方法をご紹介しました。その記事の中ではスマホアプリでライブ映像を視聴していましたが、Picam360のViewerアプリはさまざまなプラットフォームに対応しています。今回はMacでライブ映像を視聴してみます。 【過去記事】スマホアプリで視聴する様子: Jetson Nanoで魚眼カメラの映像をVRでライブストリーミングしてみた 今回使用した物 カメラ: PICAM360-4KHDR (8MP,…

Jetson Nanoで魚眼カメラの映像をVRでライブストリーミングしてみた

本稿の英語版→English version is available here. こんちには、Picam360開発コミュニティのGAKUと申します。 Picam360の魚眼映像をVR映像としてライブストリーミングする様子を撮影してみました。PICAM360-4KHDRとJetson Nanoを使って、インターネット越しにVR映像をライブストリーミングしています。下方の動画はスマートフォンのアプリで映像の視聴方向をコントロールしていて、そのスマホの画面をキャプチャしたものです。 この画質でビットレートは2MBps!モバイルネットワーク越しでもネットワーク速度が問題にならない軽さです。  カメラ: PICAM360-4KHDR サーバーデバイス: Jetson Nano ビューワー: PViewer…

Raspberry Piで魚眼カメラの映像をVRでライブストリーミングしてみた

Picam360カメラをRaspberry Piに接続して360度映像をリアルタイムストリーミングする手順を紹介。 本稿の英語版→English version is available here. こんちには、Picam360開発コミュニティのGAKUと申します。 Raspberry Pi4を使用して、Picam360の魚眼映像をVR映像としてライブストリーミングしてみました。今回はその手順をご紹介します。 実際の映像 Raspberry Piからスマホにリアルタイムストリーミングして、画面をキャプチャしたものです。(キャリブレーションをちゃんとやっていないので若干歪んでます) どうでしょうか?ビューワーも映っている状態で撮影したので実際の使用感は伝わるんじゃないかと思います。 今回のストリーミングのビットレート設定は1.5MBpsでした。Raspberry PiはJetson Nanoに比べて性能が劣るので解像度、フレームレートが低めですが(なのでJetson…