Category: Picam360_JP

VRでバーチャル展示会

没入感のある3D映像+生配信+音声コミュニケーション:リアル展示会ではできないことをバーチャル展示会で実現してみませんか? 以前の記事で、Picam360を展示会で活用した事例をご紹介しました。 【活用事例】ステレオVR映像をライブストリーミングしてリモート出展 上述の活用事例では、展示会場に入らない大型設備のリモート展示に使っていただきました。 バーチャル展示会は、リアルな展示会と比較していくつかのメリットがあります。 展示会場には設置できないものでも展示できる 遠方の顧客にもアプローチできる 開催コストが低い 開催時間が自由 天候で客足遠のくことがない 密にならない ここで言うバーチャル展示会はウェブ上にCGで擬似空間を作るタイプではなく、実際の立体映像をリアルタイムに配信します。360度映像を生配信できるカメラやシステムはありますが、画質を例に挙げると4Kで40Mbpsといったように、画質が低く(360度の撮影範囲で4Kは低画質)かつ必要な通信速度は高い、というものが多く、リアルタイムで配信するにはハードルがあります。 Picam360は皆さんが見慣れているYoutubeやAmazon Prime Video等と同じレベル(表示画面画質でFullHD)の画質でしかもステレオ3D映像を4Mbpsで配信できます。モバイルネットワークでも配信できるので、バーチャル展示会を実現するツールとしてご活用いただけます。 今回は、遠隔地に説明員を置いて視聴者と会話しながら説明する、というケースを例にして使い方をご紹介します。 説明員: 説明員は視聴者から遠く離れた遠隔地にいます。 説明員はカメラの前に立って通話用ヘッドセットを付けています。説明員は視聴者と会話しながら商品について説明します。 まず、説明員のスマホとBluetoothヘッドセットをペアリングしておきます。 次にスマホにPViewerアプリ(iOSまたはAndroid)をインストールします。 配信の開始は、通常の使い方通りでアプリのCONNECTから接続します。この時に”Meeting”を選択して接続します。 “Meeting”は音声通話機能です。同じカメラに”Meeting”で接続すると2人以上でも複数人会話をすることができます。   視聴者: 今回は2名が同時に視聴します。 Meta Quest2を使用しています。Meta Quest2以外にもQuest1やスマホも使用できます。 Questやスマホはマイクが付いているので、外付けマイクは不要です。 Meta Quest2にPViewerアプリをインストールします。 配信の開始は、通常の使い方通りでアプリのCONNECTから接続します。この時に”Video+Meeting”を選択して接続します。”Video+Meeting”は映像と音声通話を指定しています。 以上、使い方の説明でした。 冒頭の活用事例ではリアル展示会と遠隔地を繋ぎました。リアル展示会場のネットワークは混線しやすい環境です。モバイルネットワークを使っていて安定しない場合は複数の携帯キャリアーを試してみて、繋がりやすいキャリアを選択すると良いと思います。 ご質問等ありましたら、公式ウェブサイトの問い合わせページからお問い合わせください。   Picam360リンク: ウェブサイト: https://www.picam360.com ウェブストア: https://store.picam360.com Twitter: https://twitter.com/picam360 Facebook:  https://www.facebook.com/Picam360/    

マルチストリーム|複数人同時視聴

マルチストリーム機能とは、複数人で同時に同じカメラの映像を視聴できる機能です。 今回は新たに追加されたマルチストリーム機能のご紹介です。 Picam360カメラの映像をリアルタイムで視聴する場合、これまでは基本的にカメラに同時に接続して視聴できるビューワーは1つでした。マルチストリーム機能はカメラに対して複数のビューワーが同時に接続して視聴できる機能です。映像はだれかの視野方向に固定されるわけではなく、各ビューワーでそれぞれ好きな方向を見ることができます。 各ビューワーへの映像を生成するため接続数が増えるほど計算量も増えます。そのため、接続数の上限はデバイスの処理性能によって決まります。現時点で確認できているデバイスはJetsonXavierNX+Picam360HQカメラ(ステレオ)で、最大2つです。 設定 設定ファイルを開きます。 $ sudo nano /path/to/your/config/file e.g.) sudo nano /etc/pserver/config.json “wrtc_key” の下に”n_clients_limit” : 3を追記します。行末尾のカンマを忘れないように注意してください。3は同時に接続を許可するビューワーの上限数です。2ではなくて3の理由は、視聴者は最大2台で映像+音声、配信者は1台で音声のみ接続、の計3台を想定しています。音声のみの接続については別の記事で説明したいと思います。 “meeting_enabled” : false,     “wrtc_enabled” : false,     “wrtc_key” : “unique_key”, “n_clients_limit” : 3,     “stream_def” : “default”, Ctrl+o, Ctrl+xで保存して閉じます。以上で設定は完了です。 Picam360リンク: ウェブサイト: https://www.picam360.com ウェブストア: https://store.picam360.com Twitter: https://twitter.com/picam360…

Oculus Quest1に対応しました

対応機種にOculus Quest1が加わりました。 PViewerはMeta Quest2 (Oculus Quest2)に対応してます。そして今回新たにOculus Quest1に対応しました。 Oculus Quest1をお持ちの方は是非お試しください。 Picam360リンク: ウェブサイト: https://www.picam360.com ウェブストア: https://store.picam360.com Twitter: https://twitter.com/picam360 Facebook:  https://www.facebook.com/Picam360/    

WebXRをサポート。VRヘッドセットでもっと簡単に360度動画が視聴できるようになりました。

PViewerのブラウザ版がWebXRに対応しました。VR HMDのブラウザでフルスクリーン視聴できるようになりました。 こんにちは。Picam360コミュニティのGAKUです。今回は新機能のご紹介です。 PViewerのブラウザ版がWebXRに対応しました。VRヘッドセットの場合、360度のフルスクリーンで動画を視聴するには専用アプリが必要でしたが、WebXRの対応によりブラウザでフルスクリーン視聴できるようになりました。 ウェブにアップした動画のリンクをシェアすれば、アプリを入れていないくても簡単に視聴できるので、動画の共有が以前よりもっと簡単にできます。 Meta Quest2のブラウザなどのWebXRに対応したブラウザでPviewerの動画リンクにアクセスすると、画面にEnter VRボタンが表示されます。タップするとイマーシブモード(360度フルスクリーン)で視聴を楽しむことできます。 Picam360リンク: ウェブサイト: https://www.picam360.com ウェブストア: https://store.picam360.com Twitter: https://twitter.com/picam360 Facebook:  https://www.facebook.com/Picam360/    

【活用事例】ステレオVR映像をライブストリーミングしてリモート出展

2022年8月に東京で開催された「RESCUE EXPO in 立川」に出展されたコモタ株式会社様のブースにて、Picam360のリアルタイムステレオVRシステムを使って遠隔地からリモートで製品説明を実施するという使い方で、ご活用いただきました。 Picam360開発コミュニティーのGAKUです。今回はPicam360の活用事例をご紹介します。 2022年8月に東京で開催された「RESCUE EXPO in 立川」に出展されたコモタ株式会社様のブースにて、Picam360のリアルタイムステレオVRシステムを使った遠隔地からのリモート展示にご活用いただきました。 動画は展示ブースの様子です。 コモタ株式会社様  過疎化が進む地域ではガソリンスタンドの数が減少し、車や農業機械の給油、灯油の配送などインフラの維持が問題となっています。ガソリンスタンド向けPOSシステムの国内トップメーカーであるコモタ株式会社様は、その問題に対する1つのソリューションとしてコンテナ型給油所を開発されています。コンテナ型給油所は給油所を一つのパッケージにしたのもので、サイズも海上コンテナ規格となっています。つまりコンパクトで移設可能であり過疎地の需要に応じて場所を移動することができます。また災害現場へ設置して活用できる可能性もあります。 <コモタ株式会社 SS過疎地対策への取り組みについて> 「RESCUE EXPO in 立川」では、そのコンテナ型給油所を出展されており、ブースに入るサイズではないため展示会場から約30Km離れた設置場所をリアルタイムステレオVRで接続しました。設置場所には説明員がいて来場者は立体映像を通して説明を受けます。VRで来場者の関心を引き付けるとともに、一般的なビデオ通話よりも高画質かつ没入感のある立体映像によって製品の理解促進につながりました。 今回使用した機材 カメラ:PICAM360-FT45MP 視野角 水平:190° 垂直:150° 解像度:45 mega pixels フレームレート: 全天球換算 14K@8FPS 全天球換算 7K@30FPS コンピュートデバイス:Jetson Xavier NX VRヘッドセット:Oculus Quest2 遅延時間(実測値):120ms ストリーミングビットレート:4Mbps ネットワーク回線:モバイルWIFI 上記の遅延時間は、遠隔地から30Km離れた展示会場のOculus Quest2に映像が表示されるまでの実測値です。高画質でありながら低遅延かつ軽量なリアルタイム配信を実現しています。 PICAM360-FT45MPについて詳しくはこちらをご覧ください。 <11K超えの最大14K!VRに最適な超高画質360度カメラが登場>   Picam360リンク: ウェブサイト: https://www.picam360.com…

VRライブストリーミングが音声出力に対応しました

こんにちは。Picam360コミュニティのGAKUです。 今回は新機能のお知らせです。実はPicam360ソフトウェアは音声ストリーミングに対応していませんでした。Picam360のリアルタイムストリーミングは重機やドローンといった作業マシンの遠隔操作に活用されているユーザーが多く、利用シーンとして音声が必要ないことが多かったので、開発の優先度を下げていました。しかし最近、持ち運べないような大きな商品を設置してある場所から遠く離れた展示会場にVRでつないでリアルタイムにお客様にみてもらいたい、そういった使い方はできないかというご相談がありました。商品のある遠隔地には商品を解説する担当者の方がいて、音声が必要ということになり、ついに音声に対応したのでした。 ということで、新機能は音声になります。 用意するもの 音声機能はUSBマイクまたはBluetoothマイクをサポートします。また、PICAM360-4KHDRは実はマイクを搭載しています。マイクが搭載されているモデルをお持ちの場合は、オンボードのマイクが利用できます。 ソフトウェアバージョンアップ PserverとViewerアプリをバージョンアップします。それぞれのソフトウェアのバージョンは<動作確認済み環境>をご確認ください。 node-pserverをバージョンアップします@ Jetson Nano $ npm -g uninstall node-pserver # 旧バージョンをアンインストール $ npm -g install node-pserver@VERIFIED_VERSION # インストールする。@VERIFIED_VERSIONは@v0.1.1のように動作確認済バージョンを指定。 Pviewerをバージョンアップします@ビューワーデバイス。PviewerはiOS, Android, Mac等それぞれに対応したアプリがありますので、各プラットフォームのアプリアップデート手順に従ってください。ここでは参考までにMacでの手順を記載します。 $ npm -g uninstall node-pviewer # 旧バージョンをアンインストール $ npm -g install node-pviewer@VERIFIED_VERSION # インストールする。@VERIFIED_VERSIONは@v0.1.1のように動作確認済バージョンを指定。 設定 マイクをJetson Nanoに接続します。 通常通りPserverを起動します。するとPserverのコンソールログに認識しているマイクのデバイス名が表示されるのでコピーしておきます。…

WebRTCが繋がらない?中継サーバーを建ててみよう

websocketによるストリーミング機能をインターネット越しに利用するために通信を中継するサーバーを作成する手順を紹介します。 WebRTCはネットワークのセキュリティー対策によって接続できないことがあります。特に企業や学校といった組織ではFirewallが設置されていることがほとんどです。そのようなケースでは通信ポートの制限などによって接続ない場合があり、それを回避できないかどうかセキュリティー担当者に相談しても対応してもらうことは難しいかもしれません。 そこで今回はWebRTCを使わず、websocket通信でインターネット越しに通信できるようにするために、websocket通信をリレーするサーバーを作成する手順をご紹介します。 中継サーバーを建ててみよう 中継サーバーを用意する まず、中継サーバーとしてグローバルIPが分かるサーバーを用意します。サーバーはAWSやVPSなど、お好きなものをご利用ください。利用できるサーバーをお持ちでなかったり、別で簡単に試したいなら、Linode(最近Akamaiに買収されました)の月額5USDのNanodeプランがおすすめです。海外のVPSサービスですが日本のリージョンも選択できます。サーバーを時間単位課金で作ってすぐ捨てる事が出来きます。従量課金ではないので、データ量の多い映像通信に使っても安心です。 新規でサーバーを契約した場合は、最低限のセキュリティ対策を実施しましょう。 【チュートリアル】VPSを借りたらやるべき最低限のセキュリティ初期設定 今回の記事では中継サーバーはUbuntuがインストールされていると仮定します。作業PCはMacとします。 ポートフォワーディング専用ユーザーの作成 ビューワーとカメラは双方向で通信します。中継サーバーとカメラデバイスの通信はsshのポートフォワーディングを利用します。ポートフォワーディングを利用するためにカメラデバイスからsshで中継サーバーにログインできる環境を作る必要がありますが、ログインして色々操作されては困るため、「ほとんど何もできないユーザー」を作って、sshはそのユーザーを利用するようにします。 中継サーバーにログインします。 まずユーザー追加します。portforward_userはユーザー名です。お好きな名前に置き換えることができます。 $ sudo adduser portforward_user 権限制限のシェルrbashを作成します(なければ) $ ln -s /bin/bash /bin/rbash #すでに存在する場合はエラーが表示されます。ln: failed to create symbolic link ‘/bin/rbash’: File exists /etc/shellsにrbashを登録します。ただしrbashが元々存在する場合は不要です。(ここではテキストエディタはnanoを使用しています。お好きなものをご利用ください) $ sudo nano /etc/shells … /bin/csh /bin/ksh /bin/zsh /bin/rbash #この行を追加します ユーザーを切り替えます。 $ su -…

VRビューワー on Mac

Macにビューワーアプリをインストールする手順をご紹介します。 本稿の英語版→English version is available here. Macにビューワーアプリをインストールする手順をご紹介します。 ビューワーアプリのインストール on Mac Xcode ビューワーアプリはXcodeに含まれるコンポーネントを使用します。 MacにまだXcodeが入ってなければインストールします。XcodeはMac App Storeからインストールすることができます。 https://apps.apple.com/us/app/xcode/id497799835?mt=12   パッケージのインストール ビューワーアプリに必要なパッケージをHomebrewを使ってインストールします。 MacにまだHomebrewが入ってなければインストールします。 ターミナルを開いてコマンドを実行します: /bin/bash -c “$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)” Homebrewがインストールできたら、パッケージをインストールします。ターミナルで以下のコマンドを実行します。 $ brew install cmake $ brew install pkgconfig $ brew install libjpeg $ brew install libpng   Node.jsのインストール…

Jetson Nano B01 Kit 代替品

最近入手困難になっているJetson Nano開発者キットの代替品を紹介します。 本稿の英語版→English version is available here. こんちには、Picam360開発コミュニティのGAKUと申します。 この一年間の間に、Nvidia純正のJetson Nano開発者キットは、ほぼ入手困難な状況で、高額な転売品を除いて買えない状況になっています。Picam360の公式ストアにも「Jetson Nanoを売っているところを知らないか」「一緒に販売してもらえないか」というお問い合わせをいただくことがあり、Picam360のユーザーは日本国外が多いですので、そのことから世界的に入手困難な状況となっていることが分かります。この状況は、半導体不足の影響なのか、Nvidia社が開発者キットの生産を減産または停止しているのか、理由は分かりません。 この先、状況が改善されるのか不透明なので、Nvidia社以外のキャリアボードでPicam360ソフトウェアが動作するか試しました。今回の記事では、waveshare製JETSON-NANO-DEV-KITをご紹介します。 開発者キットとは Jetson NanoはJetson NanoモジュールとJetson Nano開発者キットという2つの形態で販売されています。簡単に言うとJetson Nanoモジュールが本体であり、開発者キットはモジュールとモジュールを使用するための拡張基板のセット商品です。Jetson Nanoモジュールは組み込み用途のコンピューターです。LANポートやHDMI出力等の周辺機能は付いていません。周辺機能は必要なら組み込み先デバイスが用意するものであり、組み込み用コンピューターとしてJetson Nanoモジュールはできるだけ小型で余計なものがついていない形が望ましいのです。 しかし、デバイスの開発の最初の段階では、組み込み先デバイスの存在しなので、単独で動作させることのできないモジュールだけでは開発しにくいです。モジュールがプロジェクトに適しているのかどうか評価もできません。そのため、組み込み用コンピュートモジュールを販売するメーカーは、電源やLANポート、USBポートなど、開発に必要な周辺機能を搭載し、組み込み先デバイスが無くてもモジュールを動かすことのできるキャリアボード(開発用基板)を一緒に販売したりします。 純正相当品のキャリアボード Jetson Nano開発者キットが入手困難ですが、Jetson Nanoモジュールは現在も販売されています。Nvidia社はキャリアボードはもう売らないのかもしれません(知りませんが)。キャリアボードはNvidia純正品に相当するスペックのものを作って売っているメーカーがあります。 例えば、今回の記事で紹介するwaveshare製のJETSON-NANO-DEV-KITです。モジュール込み、USBメモリ付きで約240USDです。SDカードからeMMCに変更されています。その他は、Nvidia製とほぼ同じ仕様となっています。 他には、seeedstudio製reComputer J1020があります。こちらはPicam360ソフトウェアの動作は未検証です。モジュールとケース込みで約260USDです。SDカードからeMMCに変更されています。M.2 Key MがあるのでSSDが使えますが、M.2 Key E は無効化されているためWIFIカードは使えません。J1010というモデルもあって、そちらはJetson Nano開発者キットの2GBモデルに近い構成となっています。 組み込みモジュールのメーカーはモジュールが製品に採用され、その結果たくさん売れる状況を作りたいので、評価に必要な開発者キットは安く提供したりします。日本においては、Jetson Nanoモジュールは170USD程度で販売されていて、開発者キットは以前は120USDくらいの価格で販売されていました。モジュール込みの開発者キットがモジュール単体価格より安いのですから、開発者キットは普及させるための特別価格というわけです。 純正が手に入らなくなった今、サードパーティ製で代替は可能です。ただ価格は純正と比べると高くなります。モジュール単体が170USDで、waveshare製JETSON-NANO-DEV-KITは240USDです。モジュールの販売価格からすると特別高いという価格設定ではないとは思いますが、手軽に買える値段ではなくなってしまったのは残念です。 waveshare: JETSON-NANO-DEV-KIT waveshare製JETSON-NANO-DEV-KITは、Nvidia製とほぼ同じ仕様です。簡単に、内容をご紹介します。 外箱です。純正とほぼ同じです。スペックもほぼ同じなのでJETSON-NANO-DEV-KITはNvidia製の置き換え機というコンセプトなのでしょう。 外観です。ピンヘッダーに色が付いています。 32GBのUSBメモリも付属しています。 純正キャリアーボードは電源をUSBからDCジャックに切り替える場合は、ピンを短絡させる必要がありました。本品ではピンが無くなっていて、自動で切り替わります。ケースを付けていると切り替えが大変なので、これは便利です。 モジュールを外した写真です。M.2…

簡単インストール:Dockerを利用したPicam360ソフトウェアのインストール

Dockerを利用してPicam360ソフトウェアのインストール済み環境を構築できるようになりました。 本稿の英語版→English version is available here. こんちには、Picam360開発コミュニティのGAKUと申します。 Dockerを利用してPicam360ソフトウェアのインストール済み環境を構築できるようになりました。以前の手順に比べて手順数が少なくなり、簡単にインストールできます。 注意点 今回ご紹介する手順によって構築される動作環境は、まだ完全ではありません。 カメラキャリブレーション機能にアクセスできません。暫定のキャリブレーション情報を適用するので使用できますが、画像に歪みがでます。(今後は自動キャリブレーション機能の実装を検討しています) ライセンス認証機能にアクセスできません。ステレオ機能はライセンス認証をしなくても動作しますが、FPSは7.5に制限されます。 これらは、改善されたタイミングでこの記事を更新していきます。 インストール手順に進む前に、Picam360ソフトウェアを使用する上での注意事項はこちらの記事を一読ください。 Jetson NanoでPicam360を始めよう – 1: 必要な物と注意事項 インストール手順 nvidiaのランタイムをインストールします。 $ sudo apt-get install nvidia-container-runtime 設定ファイルを作成します。 sudo tee /etc/docker/daemon.json <<EOF { “runtimes”: { “nvidia”: { “path”: “/usr/bin/nvidia-container-runtime”, “runtimeArgs”: [] } } } EOF dockerデーモンを再起動します。…

11K超えの最大14K!VRに最適な超高画質360度カメラが登場

最大45メガピクセル、4/3型大型イメージセンサを搭載し超高画質を実現したハイクオリティーカメラシリーズが登場しました。 本稿の英語版→English version is available here. こんちには、Picam360開発コミュニティのGAKUと申します。 4/3型大型イメージセンサを搭載し超高品質な360度映像を提供するPicam36oの新ラインナップ、ハイクオリティーカメラシリーズを発売しました。 PICAM360 ハイクオリティーカメラシリーズ 最大14K、45MPと21MPの2つのモデル 2つのモデルがあります。 PICAM360-FT45MP 4500万画素の超高解像度、フォーサーズサイズのイメージセンサーを搭載。最高の解像度を追求したパノラマカメラです。 全天球換算(*)で最大14Kの解像度となります。 モデル PICAM360-FT45MP 視野角 水平:190° 垂直:150° イメージセンサー Sony Special 解像度 45 mega pixels フレームレート 全天球換算 14K@8FPS 全天球換算 7K@30FPS 対応デバイス Jetson Xavier NX 価格 1,500 USD (*)一般的に360度カメラは全天球のものが多く、比較のためにカメラ2つの全天球に換算した解像度で表現しています。 PICAM360-FT21MP 2100万画素、フォーサーズサイズのイメージセンサーを搭載。解像度とフレームレートのバランスを考慮して設計されたパノラマカメラです。 全天球換算(*)で10Kの解像度となります。 モデル PICAM360-FT21MP 視野角 水平:190° 垂直:150°…

Oculus Quest2に8Kパノラマ動画をライブストリーミングしてみた

ステレオカメラに設定したPicam360の3DVRライブ映像をOculus Quest2で視聴してみます。この記事ではその手順をご紹介します。 本稿の英語版→English version is available here. こんちには、Picam360開発コミュニティのGAKUと申します。 ステレオカメラに設定したPicam360の3DVRライブ映像をOculus Quest2で視聴してみます。この記事ではその手順をご紹介します。 タイトルの8Kというのは4KのPicam360カメラ2台の合計した解像度から来ています。それはちょっとずるい書き方ではあるのですが、一般的に販売されているVRヘッドセットの解像度は両眼の解像度を合わせた数値で表記されていることが多いので、その表記に合わせてみました。 セットアップの流れ 1: 2台のPicam360カメラとJetson Nanoをステレオカメラとしてセットアップ 2: Oculus用PViewerアプリのビルドとインストール 3: ライブストリーミング No.1の手順は以前の記事でご紹介していますので、今回の記事の内容はNo.2のOculus用PViewerアプリのビルドとインストールの手順がメインです。 今回使用した物 カメラ: PICAM360-4KHDR x 2台 サーバーデバイス: Jetson Nano ビューワーデバイス:  Oculus Quest2 アプリをビルドするPC:Mac or Windows or Linux 今回の記事ではビルドにはMacを使用して説明しますが、WindowsやLinuxでもほぼ同じです。 2台のPicam360カメラとJetson Nanoをステレオカメラとしてセットアップ ステレオカメラの設定手順は以前紹介した下記の記事を参照してセットアップしてください。 Jetson Nanoでステレオ魚眼カメラの映像をライブストリーミングしてみた Oculus用PViewerアプリのビルドとインストール Oculus用PViewerはunityを使っているので、作業はUnityのプロジェクトをセットアップしてAndroid向けにビルドするという流れになります。 unityのウェブサイトにアクセスしてunity…