JetbotをPlaystation5のコントローラーで操縦する
JetbotをPlaystation5のコントローラーで操縦します。 JetbotをPlaystation5のコントローラーで操縦できるようにしました。 動画はJetbotをネット経由で遠隔操作している状況を撮影したものです。Jetbotはネットに接続されていて、動画に登場するPCもネットに接続しています。Jetbotの映像はネットを経由してPCのブラウザで表示していて(WebRTC)、Playstation5のコントローラーもブラウザのGamepadAPIを通じてJetbotを操作しています。 動画に登場するJetbotにはPicam360を2つ取り付けていて3D表示できるようにしてあるのでOculus Quest2などのVRヘッドセットを使えば、リアルタイム3D映像を見ながらJetbotを操縦することができます。 Picam360リンク: ウェブサイト: https://www.picam360.com ウェブストア: https://store.picam360.com Twitter: https://twitter.com/picam360 Facebook: https://www.facebook.com/Picam360/
Starlink+Amimon CONNEX: 地球上のあらゆる場所で、360度の映像をリアルタイムに遠隔操作するためのネットワーク構想
Starlink+Amimon CONNEX: 地球上のあらゆる場所で、360度の映像をリアルタイムに遠隔操作するためのネットワーク構想。 1. Starlink 海上や山間部の場所では、モバイルネットワークが届きません。一方、ドローンや重機などの遠隔操作の対象は、そうした場所での運用が求められています。スターリンクは、世界中の(ほぼ)どこにでもつながるネットワークを提供してくれます。ありがとう、スターリンク。 2. Amimon CONNEX Picam360をリモートで使用する場合、リモートデバイスとネットワークルーターとの接続は、これまでWIFIを使用していました。WIFIを使う以外に選択肢がないため、これがラストワンマイルの壁になっていました。 「ラストワンマイル」という言葉は、もともと電気通信業界で「最も近い基地局とユーザーを結ぶ通信回線の最後の区間」という意味で使われていました。現在では、「ユーザーにサービスを提供するための最後の区間(障壁)」という意味で使われています。 ドローンに詳しい方にはおなじみの、HDMI映像を無線で高速伝送する「Amimon Connex」。Amimonのデータ伝送仕様は、通常の360度映像フォーマット(正距円筒図法)には1フレームのデータサイズが小さすぎます。しかし、Picam360の映像圧縮技術は、アミモンのデータ伝送仕様と相性が良く、Amimonを使えば高画質の360度映像の伝送が可能であることに気づきました。 ということで、まだ構想ですが、Starlinkを試してみたところPicam360が接続できることを確認できました。Amimon Connexがラストワンマイルのソリューションになることを期待し、今実装しているところです。Amimon Connexで良い結果が出れば、高画質の360度映像をリアルタイムでどこにでも配信できるオンリーワンのシステムになると考えています。 Picam360リンク: ウェブサイト: https://www.picam360.com ウェブストア: https://store.picam360.com Twitter: https://twitter.com/picam360 Facebook: https://www.facebook.com/Picam360/
Nrealに対応しました
PViewerのUnityアセットが、新たにNrealに対応しました。 対応機種に Nreal が追加されました。 Picam360リンク: ウェブサイト: https://www.picam360.com ウェブストア: https://store.picam360.com Twitter: https://twitter.com/picam360 Facebook: https://www.facebook.com/Picam360/
VRでバーチャル展示会
没入感のある3D映像+生配信+音声コミュニケーション:リアル展示会ではできないことをバーチャル展示会で実現してみませんか? 以前の記事で、Picam360を展示会で活用した事例をご紹介しました。 【活用事例】ステレオVR映像をライブストリーミングしてリモート出展 上述の活用事例では、展示会場に入らない大型設備のリモート展示に使っていただきました。 バーチャル展示会は、リアルな展示会と比較していくつかのメリットがあります。 展示会場には設置できないものでも展示できる 遠方の顧客にもアプローチできる 開催コストが低い 開催時間が自由 天候で客足遠のくことがない 密にならない ここで言うバーチャル展示会はウェブ上にCGで擬似空間を作るタイプではなく、実際の立体映像をリアルタイムに配信します。360度映像を生配信できるカメラやシステムはありますが、画質を例に挙げると4Kで40Mbpsといったように、画質が低く(360度の撮影範囲で4Kは低画質)かつ必要な通信速度は高い、というものが多く、リアルタイムで配信するにはハードルがあります。 Picam360は皆さんが見慣れているYoutubeやAmazon Prime Video等と同じレベル(表示画面画質でFullHD)の画質でしかもステレオ3D映像を4Mbpsで配信できます。モバイルネットワークでも配信できるので、バーチャル展示会を実現するツールとしてご活用いただけます。 今回は、遠隔地に説明員を置いて視聴者と会話しながら説明する、というケースを例にして使い方をご紹介します。 説明員: 説明員は視聴者から遠く離れた遠隔地にいます。 説明員はカメラの前に立って通話用ヘッドセットを付けています。説明員は視聴者と会話しながら商品について説明します。 まず、説明員のスマホとBluetoothヘッドセットをペアリングしておきます。 次にスマホにPViewerアプリ(iOSまたはAndroid)をインストールします。 配信の開始は、通常の使い方通りでアプリのCONNECTから接続します。この時に”Meeting”を選択して接続します。 “Meeting”は音声通話機能です。同じカメラに”Meeting”で接続すると2人以上でも複数人会話をすることができます。 視聴者: 今回は2名が同時に視聴します。 Meta Quest2を使用しています。Meta Quest2以外にもQuest1やスマホも使用できます。 Questやスマホはマイクが付いているので、外付けマイクは不要です。 Meta Quest2にPViewerアプリをインストールします。 配信の開始は、通常の使い方通りでアプリのCONNECTから接続します。この時に”Video+Meeting”を選択して接続します。”Video+Meeting”は映像と音声通話を指定しています。 以上、使い方の説明でした。 冒頭の活用事例ではリアル展示会と遠隔地を繋ぎました。リアル展示会場のネットワークは混線しやすい環境です。モバイルネットワークを使っていて安定しない場合は複数の携帯キャリアーを試してみて、繋がりやすいキャリアを選択すると良いと思います。 ご質問等ありましたら、公式ウェブサイトの問い合わせページからお問い合わせください。 Picam360リンク: ウェブサイト: https://www.picam360.com ウェブストア: https://store.picam360.com Twitter: https://twitter.com/picam360 Facebook: https://www.facebook.com/Picam360/
マルチストリーム|複数人同時視聴
マルチストリーム機能とは、複数人で同時に同じカメラの映像を視聴できる機能です。 今回は新たに追加されたマルチストリーム機能のご紹介です。 Picam360カメラの映像をリアルタイムで視聴する場合、これまでは基本的にカメラに同時に接続して視聴できるビューワーは1つでした。マルチストリーム機能はカメラに対して複数のビューワーが同時に接続して視聴できる機能です。映像はだれかの視野方向に固定されるわけではなく、各ビューワーでそれぞれ好きな方向を見ることができます。 各ビューワーへの映像を生成するため接続数が増えるほど計算量も増えます。そのため、接続数の上限はデバイスの処理性能によって決まります。現時点で確認できているデバイスはJetsonXavierNX+Picam360HQカメラ(ステレオ)で、最大2つです。 設定 設定ファイルを開きます。 $ sudo nano /path/to/your/config/file e.g.) sudo nano /etc/pserver/config.json “wrtc_key” の下に”n_clients_limit” : 3を追記します。行末尾のカンマを忘れないように注意してください。3は同時に接続を許可するビューワーの上限数です。2ではなくて3の理由は、視聴者は最大2台で映像+音声、配信者は1台で音声のみ接続、の計3台を想定しています。音声のみの接続については別の記事で説明したいと思います。 “meeting_enabled” : false, “wrtc_enabled” : false, “wrtc_key” : “unique_key”, “n_clients_limit” : 3, “stream_def” : “default”, Ctrl+o, Ctrl+xで保存して閉じます。以上で設定は完了です。 Picam360リンク: ウェブサイト: https://www.picam360.com ウェブストア: https://store.picam360.com Twitter: https://twitter.com/picam360…
Oculus Quest1に対応しました
対応機種にOculus Quest1が加わりました。 PViewerはMeta Quest2 (Oculus Quest2)に対応してます。そして今回新たにOculus Quest1に対応しました。 Oculus Quest1をお持ちの方は是非お試しください。 Picam360リンク: ウェブサイト: https://www.picam360.com ウェブストア: https://store.picam360.com Twitter: https://twitter.com/picam360 Facebook: https://www.facebook.com/Picam360/
WebXRをサポート。VRヘッドセットでもっと簡単に360度動画が視聴できるようになりました。
PViewerのブラウザ版がWebXRに対応しました。VR HMDのブラウザでフルスクリーン視聴できるようになりました。 こんにちは。Picam360コミュニティのGAKUです。今回は新機能のご紹介です。 PViewerのブラウザ版がWebXRに対応しました。VRヘッドセットの場合、360度のフルスクリーンで動画を視聴するには専用アプリが必要でしたが、WebXRの対応によりブラウザでフルスクリーン視聴できるようになりました。 ウェブにアップした動画のリンクをシェアすれば、アプリを入れていないくても簡単に視聴できるので、動画の共有が以前よりもっと簡単にできます。 Meta Quest2のブラウザなどのWebXRに対応したブラウザでPviewerの動画リンクにアクセスすると、画面にEnter VRボタンが表示されます。タップするとイマーシブモード(360度フルスクリーン)で視聴を楽しむことできます。 Picam360リンク: ウェブサイト: https://www.picam360.com ウェブストア: https://store.picam360.com Twitter: https://twitter.com/picam360 Facebook: https://www.facebook.com/Picam360/
【活用事例】ステレオVR映像をライブストリーミングしてリモート出展
2022年8月に東京で開催された「RESCUE EXPO in 立川」に出展されたコモタ株式会社様のブースにて、Picam360のリアルタイムステレオVRシステムを使って遠隔地からリモートで製品説明を実施するという使い方で、ご活用いただきました。 Picam360開発コミュニティーのGAKUです。今回はPicam360の活用事例をご紹介します。 2022年8月に東京で開催された「RESCUE EXPO in 立川」に出展されたコモタ株式会社様のブースにて、Picam360のリアルタイムステレオVRシステムを使った遠隔地からのリモート展示にご活用いただきました。 動画は展示ブースの様子です。 コモタ株式会社様 過疎化が進む地域ではガソリンスタンドの数が減少し、車や農業機械の給油、灯油の配送などインフラの維持が問題となっています。ガソリンスタンド向けPOSシステムの国内トップメーカーであるコモタ株式会社様は、その問題に対する1つのソリューションとしてコンテナ型給油所を開発されています。コンテナ型給油所は給油所を一つのパッケージにしたのもので、サイズも海上コンテナ規格となっています。つまりコンパクトで移設可能であり過疎地の需要に応じて場所を移動することができます。また災害現場へ設置して活用できる可能性もあります。 <コモタ株式会社 SS過疎地対策への取り組みについて> 「RESCUE EXPO in 立川」では、そのコンテナ型給油所を出展されており、ブースに入るサイズではないため展示会場から約30Km離れた設置場所をリアルタイムステレオVRで接続しました。設置場所には説明員がいて来場者は立体映像を通して説明を受けます。VRで来場者の関心を引き付けるとともに、一般的なビデオ通話よりも高画質かつ没入感のある立体映像によって製品の理解促進につながりました。 今回使用した機材 カメラ:PICAM360-FT45MP 視野角 水平:190° 垂直:150° 解像度:45 mega pixels フレームレート: 全天球換算 14K@8FPS 全天球換算 7K@30FPS コンピュートデバイス:Jetson Xavier NX VRヘッドセット:Oculus Quest2 遅延時間(実測値):120ms ストリーミングビットレート:4Mbps ネットワーク回線:モバイルWIFI 上記の遅延時間は、遠隔地から30Km離れた展示会場のOculus Quest2に映像が表示されるまでの実測値です。高画質でありながら低遅延かつ軽量なリアルタイム配信を実現しています。 PICAM360-FT45MPについて詳しくはこちらをご覧ください。 <11K超えの最大14K!VRに最適な超高画質360度カメラが登場> Picam360リンク: ウェブサイト: https://www.picam360.com…
VRライブストリーミングが音声出力に対応しました
こんにちは。Picam360コミュニティのGAKUです。 今回は新機能のお知らせです。実はPicam360ソフトウェアは音声ストリーミングに対応していませんでした。Picam360のリアルタイムストリーミングは重機やドローンといった作業マシンの遠隔操作に活用されているユーザーが多く、利用シーンとして音声が必要ないことが多かったので、開発の優先度を下げていました。しかし最近、持ち運べないような大きな商品を設置してある場所から遠く離れた展示会場にVRでつないでリアルタイムにお客様にみてもらいたい、そういった使い方はできないかというご相談がありました。商品のある遠隔地には商品を解説する担当者の方がいて、音声が必要ということになり、ついに音声に対応したのでした。 ということで、新機能は音声になります。 用意するもの 音声機能はUSBマイクまたはBluetoothマイクをサポートします。また、PICAM360-4KHDRは実はマイクを搭載しています。マイクが搭載されているモデルをお持ちの場合は、オンボードのマイクが利用できます。 ソフトウェアバージョンアップ PserverとViewerアプリをバージョンアップします。それぞれのソフトウェアのバージョンは<動作確認済み環境>をご確認ください。 node-pserverをバージョンアップします@ Jetson Nano $ npm -g uninstall node-pserver # 旧バージョンをアンインストール $ npm -g install node-pserver@VERIFIED_VERSION # インストールする。@VERIFIED_VERSIONは@v0.1.1のように動作確認済バージョンを指定。 Pviewerをバージョンアップします@ビューワーデバイス。PviewerはiOS, Android, Mac等それぞれに対応したアプリがありますので、各プラットフォームのアプリアップデート手順に従ってください。ここでは参考までにMacでの手順を記載します。 $ npm -g uninstall node-pviewer # 旧バージョンをアンインストール $ npm -g install node-pviewer@VERIFIED_VERSION # インストールする。@VERIFIED_VERSIONは@v0.1.1のように動作確認済バージョンを指定。 設定 マイクをJetson Nanoに接続します。 通常通りPserverを起動します。するとPserverのコンソールログに認識しているマイクのデバイス名が表示されるのでコピーしておきます。…
WebRTCが繋がらない?中継サーバーを建ててみよう
websocketによるストリーミング機能をインターネット越しに利用するために通信を中継するサーバーを作成する手順を紹介します。 WebRTCはネットワークのセキュリティー対策によって接続できないことがあります。特に企業や学校といった組織ではFirewallが設置されていることがほとんどです。そのようなケースでは通信ポートの制限などによって接続ない場合があり、それを回避できないかどうかセキュリティー担当者に相談しても対応してもらうことは難しいかもしれません。 そこで今回はWebRTCを使わず、websocket通信でインターネット越しに通信できるようにするために、websocket通信をリレーするサーバーを作成する手順をご紹介します。 中継サーバーを建ててみよう 中継サーバーを用意する まず、中継サーバーとしてグローバルIPが分かるサーバーを用意します。サーバーはAWSやVPSなど、お好きなものをご利用ください。利用できるサーバーをお持ちでなかったり、別で簡単に試したいなら、Linode(最近Akamaiに買収されました)の月額5USDのNanodeプランがおすすめです。海外のVPSサービスですが日本のリージョンも選択できます。サーバーを時間単位課金で作ってすぐ捨てる事が出来きます。従量課金ではないので、データ量の多い映像通信に使っても安心です。 新規でサーバーを契約した場合は、最低限のセキュリティ対策を実施しましょう。 【チュートリアル】VPSを借りたらやるべき最低限のセキュリティ初期設定 今回の記事では中継サーバーはUbuntuがインストールされていると仮定します。作業PCはMacとします。 ポートフォワーディング専用ユーザーの作成 ビューワーとカメラは双方向で通信します。中継サーバーとカメラデバイスの通信はsshのポートフォワーディングを利用します。ポートフォワーディングを利用するためにカメラデバイスからsshで中継サーバーにログインできる環境を作る必要がありますが、ログインして色々操作されては困るため、「ほとんど何もできないユーザー」を作って、sshはそのユーザーを利用するようにします。 中継サーバーにログインします。 まずユーザー追加します。portforward_userはユーザー名です。お好きな名前に置き換えることができます。 $ sudo adduser portforward_user 権限制限のシェルrbashを作成します(なければ) $ ln -s /bin/bash /bin/rbash #すでに存在する場合はエラーが表示されます。ln: failed to create symbolic link ‘/bin/rbash’: File exists /etc/shellsにrbashを登録します。ただしrbashが元々存在する場合は不要です。(ここではテキストエディタはnanoを使用しています。お好きなものをご利用ください) $ sudo nano /etc/shells … /bin/csh /bin/ksh /bin/zsh /bin/rbash #この行を追加します ユーザーを切り替えます。 $ su -…
VRビューワー on Mac
Macにビューワーアプリをインストールする手順をご紹介します。 本稿の英語版→English version is available here. Macにビューワーアプリをインストールする手順をご紹介します。 ビューワーアプリのインストール on Mac Xcode ビューワーアプリはXcodeに含まれるコンポーネントを使用します。 MacにまだXcodeが入ってなければインストールします。XcodeはMac App Storeからインストールすることができます。 https://apps.apple.com/us/app/xcode/id497799835?mt=12 パッケージのインストール ビューワーアプリに必要なパッケージをHomebrewを使ってインストールします。 MacにまだHomebrewが入ってなければインストールします。 ターミナルを開いてコマンドを実行します: /bin/bash -c “$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)” Homebrewがインストールできたら、パッケージをインストールします。ターミナルで以下のコマンドを実行します。 $ brew install cmake $ brew install pkgconfig $ brew install libjpeg $ brew install libpng Node.jsのインストール…
Jetson Nano B01 Kit 代替品
最近入手困難になっているJetson Nano開発者キットの代替品を紹介します。 本稿の英語版→English version is available here. こんちには、Picam360開発コミュニティのGAKUと申します。 この一年間の間に、Nvidia純正のJetson Nano開発者キットは、ほぼ入手困難な状況で、高額な転売品を除いて買えない状況になっています。Picam360の公式ストアにも「Jetson Nanoを売っているところを知らないか」「一緒に販売してもらえないか」というお問い合わせをいただくことがあり、Picam360のユーザーは日本国外が多いですので、そのことから世界的に入手困難な状況となっていることが分かります。この状況は、半導体不足の影響なのか、Nvidia社が開発者キットの生産を減産または停止しているのか、理由は分かりません。 この先、状況が改善されるのか不透明なので、Nvidia社以外のキャリアボードでPicam360ソフトウェアが動作するか試しました。今回の記事では、waveshare製JETSON-NANO-DEV-KITをご紹介します。 開発者キットとは Jetson NanoはJetson NanoモジュールとJetson Nano開発者キットという2つの形態で販売されています。簡単に言うとJetson Nanoモジュールが本体であり、開発者キットはモジュールとモジュールを使用するための拡張基板のセット商品です。Jetson Nanoモジュールは組み込み用途のコンピューターです。LANポートやHDMI出力等の周辺機能は付いていません。周辺機能は必要なら組み込み先デバイスが用意するものであり、組み込み用コンピューターとしてJetson Nanoモジュールはできるだけ小型で余計なものがついていない形が望ましいのです。 しかし、デバイスの開発の最初の段階では、組み込み先デバイスの存在しなので、単独で動作させることのできないモジュールだけでは開発しにくいです。モジュールがプロジェクトに適しているのかどうか評価もできません。そのため、組み込み用コンピュートモジュールを販売するメーカーは、電源やLANポート、USBポートなど、開発に必要な周辺機能を搭載し、組み込み先デバイスが無くてもモジュールを動かすことのできるキャリアボード(開発用基板)を一緒に販売したりします。 純正相当品のキャリアボード Jetson Nano開発者キットが入手困難ですが、Jetson Nanoモジュールは現在も販売されています。Nvidia社はキャリアボードはもう売らないのかもしれません(知りませんが)。キャリアボードはNvidia純正品に相当するスペックのものを作って売っているメーカーがあります。 例えば、今回の記事で紹介するwaveshare製のJETSON-NANO-DEV-KITです。モジュール込み、USBメモリ付きで約240USDです。SDカードからeMMCに変更されています。その他は、Nvidia製とほぼ同じ仕様となっています。 他には、seeedstudio製reComputer J1020があります。こちらはPicam360ソフトウェアの動作は未検証です。モジュールとケース込みで約260USDです。SDカードからeMMCに変更されています。M.2 Key MがあるのでSSDが使えますが、M.2 Key E は無効化されているためWIFIカードは使えません。J1010というモデルもあって、そちらはJetson Nano開発者キットの2GBモデルに近い構成となっています。 組み込みモジュールのメーカーはモジュールが製品に採用され、その結果たくさん売れる状況を作りたいので、評価に必要な開発者キットは安く提供したりします。日本においては、Jetson Nanoモジュールは170USD程度で販売されていて、開発者キットは以前は120USDくらいの価格で販売されていました。モジュール込みの開発者キットがモジュール単体価格より安いのですから、開発者キットは普及させるための特別価格というわけです。 純正が手に入らなくなった今、サードパーティ製で代替は可能です。ただ価格は純正と比べると高くなります。モジュール単体が170USDで、waveshare製JETSON-NANO-DEV-KITは240USDです。モジュールの販売価格からすると特別高いという価格設定ではないとは思いますが、手軽に買える値段ではなくなってしまったのは残念です。 waveshare: JETSON-NANO-DEV-KIT waveshare製JETSON-NANO-DEV-KITは、Nvidia製とほぼ同じ仕様です。簡単に、内容をご紹介します。 外箱です。純正とほぼ同じです。スペックもほぼ同じなのでJETSON-NANO-DEV-KITはNvidia製の置き換え機というコンセプトなのでしょう。 外観です。ピンヘッダーに色が付いています。 32GBのUSBメモリも付属しています。 純正キャリアーボードは電源をUSBからDCジャックに切り替える場合は、ピンを短絡させる必要がありました。本品ではピンが無くなっていて、自動で切り替わります。ケースを付けていると切り替えが大変なので、これは便利です。 モジュールを外した写真です。M.2…