Tag: Virtual Reality

VRライブストリーミングが音声出力に対応しました

こんにちは。Picam360コミュニティのGAKUです。 今回は新機能のお知らせです。実はPicam360ソフトウェアは音声ストリーミングに対応していませんでした。Picam360のリアルタイムストリーミングは重機やドローンといった作業マシンの遠隔操作に活用されているユーザーが多く、利用シーンとして音声が必要ないことが多かったので、開発の優先度を下げていました。しかし最近、持ち運べないような大きな商品を設置してある場所から遠く離れた展示会場にVRでつないでリアルタイムにお客様にみてもらいたい、そういった使い方はできないかというご相談がありました。商品のある遠隔地には商品を解説する担当者の方がいて、音声が必要ということになり、ついに音声に対応したのでした。 ということで、新機能は音声になります。 用意するもの 音声機能はUSBマイクまたはBluetoothマイクをサポートします。また、PICAM360-4KHDRは実はマイクを搭載しています。マイクが搭載されているモデルをお持ちの場合は、オンボードのマイクが利用できます。 ソフトウェアバージョンアップ PserverとViewerアプリをバージョンアップします。それぞれのソフトウェアのバージョンは<動作確認済み環境>をご確認ください。 node-pserverをバージョンアップします@ Jetson Nano $ npm -g uninstall node-pserver # 旧バージョンをアンインストール $ npm -g install node-pserver@VERIFIED_VERSION # インストールする。@VERIFIED_VERSIONは@v0.1.1のように動作確認済バージョンを指定。 Pviewerをバージョンアップします@ビューワーデバイス。PviewerはiOS, Android, Mac等それぞれに対応したアプリがありますので、各プラットフォームのアプリアップデート手順に従ってください。ここでは参考までにMacでの手順を記載します。 $ npm -g uninstall node-pviewer # 旧バージョンをアンインストール $ npm -g install node-pviewer@VERIFIED_VERSION # インストールする。@VERIFIED_VERSIONは@v0.1.1のように動作確認済バージョンを指定。 設定 マイクをJetson Nanoに接続します。 通常通りPserverを起動します。するとPserverのコンソールログに認識しているマイクのデバイス名が表示されるのでコピーしておきます。…

WebRTCが繋がらない?中継サーバーを建ててみよう

websocketによるストリーミング機能をインターネット越しに利用するために通信を中継するサーバーを作成する手順を紹介します。 WebRTCはネットワークのセキュリティー対策によって接続できないことがあります。特に企業や学校といった組織ではFirewallが設置されていることがほとんどです。そのようなケースでは通信ポートの制限などによって接続ない場合があり、それを回避できないかどうかセキュリティー担当者に相談しても対応してもらうことは難しいかもしれません。 そこで今回はWebRTCを使わず、websocket通信でインターネット越しに通信できるようにするために、websocket通信をリレーするサーバーを作成する手順をご紹介します。 中継サーバーを建ててみよう 中継サーバーを用意する まず、中継サーバーとしてグローバルIPが分かるサーバーを用意します。サーバーはAWSやVPSなど、お好きなものをご利用ください。利用できるサーバーをお持ちでなかったり、別で簡単に試したいなら、Linode(最近Akamaiに買収されました)の月額5USDのNanodeプランがおすすめです。海外のVPSサービスですが日本のリージョンも選択できます。サーバーを時間単位課金で作ってすぐ捨てる事が出来きます。従量課金ではないので、データ量の多い映像通信に使っても安心です。 新規でサーバーを契約した場合は、最低限のセキュリティ対策を実施しましょう。 【チュートリアル】VPSを借りたらやるべき最低限のセキュリティ初期設定 今回の記事では中継サーバーはUbuntuがインストールされていると仮定します。作業PCはMacとします。 ポートフォワーディング専用ユーザーの作成 ビューワーとカメラは双方向で通信します。中継サーバーとカメラデバイスの通信はsshのポートフォワーディングを利用します。ポートフォワーディングを利用するためにカメラデバイスからsshで中継サーバーにログインできる環境を作る必要がありますが、ログインして色々操作されては困るため、「ほとんど何もできないユーザー」を作って、sshはそのユーザーを利用するようにします。 中継サーバーにログインします。 まずユーザー追加します。portforward_userはユーザー名です。お好きな名前に置き換えることができます。 $ sudo adduser portforward_user 権限制限のシェルrbashを作成します(なければ) $ ln -s /bin/bash /bin/rbash #すでに存在する場合はエラーが表示されます。ln: failed to create symbolic link ‘/bin/rbash’: File exists /etc/shellsにrbashを登録します。ただしrbashが元々存在する場合は不要です。(ここではテキストエディタはnanoを使用しています。お好きなものをご利用ください) $ sudo nano /etc/shells … /bin/csh /bin/ksh /bin/zsh /bin/rbash #この行を追加します ユーザーを切り替えます。 $ su -…

VRビューワー on Mac

Macにビューワーアプリをインストールする手順をご紹介します。 本稿の英語版→English version is available here. Macにビューワーアプリをインストールする手順をご紹介します。 ビューワーアプリのインストール on Mac Xcode ビューワーアプリはXcodeに含まれるコンポーネントを使用します。 MacにまだXcodeが入ってなければインストールします。XcodeはMac App Storeからインストールすることができます。 https://apps.apple.com/us/app/xcode/id497799835?mt=12   パッケージのインストール ビューワーアプリに必要なパッケージをHomebrewを使ってインストールします。 MacにまだHomebrewが入ってなければインストールします。 ターミナルを開いてコマンドを実行します: /bin/bash -c “$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)” Homebrewがインストールできたら、パッケージをインストールします。ターミナルで以下のコマンドを実行します。 $ brew install cmake $ brew install pkgconfig $ brew install libjpeg $ brew install libpng   Node.jsのインストール…

VR Viewer on Mac

Here are the steps to install the viewer application on your Mac.   VR Viewer on your Mac Xcode The viewer application uses components included in Xcode. Install Xcode if your Mac does not already have it; Xcode can be installed from the Mac App…

Alternative to Jetson Nano B01 Kit

Here is an alternatives to the Jetson Nano Developer Kit, which has been hard to find recently. Hello, my name is GAKU from the Picam360 development community. Over the past year, genuine Nvidia Jetson Nano developer kit have been nearly impossible to find and buy,…

Jetson Nano B01 Kit 代替品

最近入手困難になっているJetson Nano開発者キットの代替品を紹介します。 本稿の英語版→English version is available here. こんちには、Picam360開発コミュニティのGAKUと申します。 この一年間の間に、Nvidia純正のJetson Nano開発者キットは、ほぼ入手困難な状況で、高額な転売品を除いて買えない状況になっています。Picam360の公式ストアにも「Jetson Nanoを売っているところを知らないか」「一緒に販売してもらえないか」というお問い合わせをいただくことがあり、Picam360のユーザーは日本国外が多いですので、そのことから世界的に入手困難な状況となっていることが分かります。この状況は、半導体不足の影響なのか、Nvidia社が開発者キットの生産を減産または停止しているのか、理由は分かりません。 この先、状況が改善されるのか不透明なので、Nvidia社以外のキャリアボードでPicam360ソフトウェアが動作するか試しました。今回の記事では、waveshare製JETSON-NANO-DEV-KITをご紹介します。 開発者キットとは Jetson NanoはJetson NanoモジュールとJetson Nano開発者キットという2つの形態で販売されています。簡単に言うとJetson Nanoモジュールが本体であり、開発者キットはモジュールとモジュールを使用するための拡張基板のセット商品です。Jetson Nanoモジュールは組み込み用途のコンピューターです。LANポートやHDMI出力等の周辺機能は付いていません。周辺機能は必要なら組み込み先デバイスが用意するものであり、組み込み用コンピューターとしてJetson Nanoモジュールはできるだけ小型で余計なものがついていない形が望ましいのです。 しかし、デバイスの開発の最初の段階では、組み込み先デバイスの存在しなので、単独で動作させることのできないモジュールだけでは開発しにくいです。モジュールがプロジェクトに適しているのかどうか評価もできません。そのため、組み込み用コンピュートモジュールを販売するメーカーは、電源やLANポート、USBポートなど、開発に必要な周辺機能を搭載し、組み込み先デバイスが無くてもモジュールを動かすことのできるキャリアボード(開発用基板)を一緒に販売したりします。 純正相当品のキャリアボード Jetson Nano開発者キットが入手困難ですが、Jetson Nanoモジュールは現在も販売されています。Nvidia社はキャリアボードはもう売らないのかもしれません(知りませんが)。キャリアボードはNvidia純正品に相当するスペックのものを作って売っているメーカーがあります。 例えば、今回の記事で紹介するwaveshare製のJETSON-NANO-DEV-KITです。モジュール込み、USBメモリ付きで約240USDです。SDカードからeMMCに変更されています。その他は、Nvidia製とほぼ同じ仕様となっています。 他には、seeedstudio製reComputer J1020があります。こちらはPicam360ソフトウェアの動作は未検証です。モジュールとケース込みで約260USDです。SDカードからeMMCに変更されています。M.2 Key MがあるのでSSDが使えますが、M.2 Key E は無効化されているためWIFIカードは使えません。J1010というモデルもあって、そちらはJetson Nano開発者キットの2GBモデルに近い構成となっています。 組み込みモジュールのメーカーはモジュールが製品に採用され、その結果たくさん売れる状況を作りたいので、評価に必要な開発者キットは安く提供したりします。日本においては、Jetson Nanoモジュールは170USD程度で販売されていて、開発者キットは以前は120USDくらいの価格で販売されていました。モジュール込みの開発者キットがモジュール単体価格より安いのですから、開発者キットは普及させるための特別価格というわけです。 純正が手に入らなくなった今、サードパーティ製で代替は可能です。ただ価格は純正と比べると高くなります。モジュール単体が170USDで、waveshare製JETSON-NANO-DEV-KITは240USDです。モジュールの販売価格からすると特別高いという価格設定ではないとは思いますが、手軽に買える値段ではなくなってしまったのは残念です。 waveshare: JETSON-NANO-DEV-KIT waveshare製JETSON-NANO-DEV-KITは、Nvidia製とほぼ同じ仕様です。簡単に、内容をご紹介します。 外箱です。純正とほぼ同じです。スペックもほぼ同じなのでJETSON-NANO-DEV-KITはNvidia製の置き換え機というコンセプトなのでしょう。 外観です。ピンヘッダーに色が付いています。 32GBのUSBメモリも付属しています。 純正キャリアーボードは電源をUSBからDCジャックに切り替える場合は、ピンを短絡させる必要がありました。本品ではピンが無くなっていて、自動で切り替わります。ケースを付けていると切り替えが大変なので、これは便利です。 モジュールを外した写真です。M.2…

簡単インストール:Dockerを利用したPicam360ソフトウェアのインストール

Dockerを利用してPicam360ソフトウェアのインストール済み環境を構築できるようになりました。 本稿の英語版→English version is available here. こんちには、Picam360開発コミュニティのGAKUと申します。 Dockerを利用してPicam360ソフトウェアのインストール済み環境を構築できるようになりました。以前の手順に比べて手順数が少なくなり、簡単にインストールできます。 注意点 今回ご紹介する手順によって構築される動作環境は、まだ完全ではありません。 カメラキャリブレーション機能にアクセスできません。暫定のキャリブレーション情報を適用するので使用できますが、画像に歪みがでます。(今後は自動キャリブレーション機能の実装を検討しています) ライセンス認証機能にアクセスできません。ステレオ機能はライセンス認証をしなくても動作しますが、FPSは7.5に制限されます。 これらは、改善されたタイミングでこの記事を更新していきます。 インストール手順に進む前に、Picam360ソフトウェアを使用する上での注意事項はこちらの記事を一読ください。 Jetson NanoでPicam360を始めよう – 1: 必要な物と注意事項 インストール手順 nvidiaのランタイムをインストールします。 $ sudo apt-get install nvidia-container-runtime 設定ファイルを作成します。 sudo tee /etc/docker/daemon.json <<EOF { “runtimes”: { “nvidia”: { “path”: “/usr/bin/nvidia-container-runtime”, “runtimeArgs”: [] } } } EOF dockerデーモンを再起動します。…

11K超えの最大14K!VRに最適な超高画質360度カメラが登場

最大45メガピクセル、4/3型大型イメージセンサを搭載し超高画質を実現したハイクオリティーカメラシリーズが登場しました。 本稿の英語版→English version is available here. こんちには、Picam360開発コミュニティのGAKUと申します。 4/3型大型イメージセンサを搭載し超高品質な360度映像を提供するPicam36oの新ラインナップ、ハイクオリティーカメラシリーズを発売しました。 PICAM360 ハイクオリティーカメラシリーズ 最大14K、45MPと21MPの2つのモデル 2つのモデルがあります。 PICAM360-FT45MP 4500万画素の超高解像度、フォーサーズサイズのイメージセンサーを搭載。最高の解像度を追求したパノラマカメラです。 全天球換算(*)で最大14Kの解像度となります。 モデル PICAM360-FT45MP 視野角 水平:190° 垂直:150° イメージセンサー Sony Special 解像度 45 mega pixels フレームレート 全天球換算 14K@8FPS 全天球換算 7K@30FPS 対応デバイス Jetson Xavier NX 価格 1,500 USD (*)一般的に360度カメラは全天球のものが多く、比較のためにカメラ2つの全天球に換算した解像度で表現しています。 PICAM360-FT21MP 2100万画素、フォーサーズサイズのイメージセンサーを搭載。解像度とフレームレートのバランスを考慮して設計されたパノラマカメラです。 全天球換算(*)で10Kの解像度となります。 モデル PICAM360-FT21MP 視野角 水平:190° 垂直:150°…