JetbotをPlaystation5のコントローラーで操縦します。  JetbotをPlaystation5のコントローラーで操縦できるようにしました。 動画はJetbotをネット経由で遠隔操作している状況を撮影したものです。Jetbotはネットに接続されていて、動画に登場するPCもネットに接続しています。Jetbotの映像はネットを経由してPCのブラウザで表示していて(WebRTC)、Playstation5のコントローラーもブラウザのGamepadAPIを通じてJetbotを操作しています。 動画に登場するJetbotにはPicam360を2つ取り付けていて3D表示できるようにしてあるのでOculus Quest2などのVRヘッドセットを使えば、リアルタイム3D映像を見ながらJetbotを操縦することができます。   Picam360リンク： ウェブサイト： https://www.picam360.com ウェブストア： https://store.picam360.com Twitter: https://twitter.com/picam360 Facebook:  https://www.facebook.com/Picam360/

Starlink+Amimon CONNEX: 地球上のあらゆる場所で、360度の映像をリアルタイムに遠隔操作するためのネットワーク構想。 1. Starlink 海上や山間部の場所では、モバイルネットワークが届きません。一方、ドローンや重機などの遠隔操作の対象は、そうした場所での運用が求められています。スターリンクは、世界中の（ほぼ）どこにでもつながるネットワークを提供してくれます。ありがとう、スターリンク。 2. Amimon CONNEX Picam360をリモートで使用する場合、リモートデバイスとネットワークルーターとの接続は、これまでWIFIを使用していました。WIFIを使う以外に選択肢がないため、これがラストワンマイルの壁になっていました。 「ラストワンマイル」という言葉は、もともと電気通信業界で「最も近い基地局とユーザーを結ぶ通信回線の最後の区間」という意味で使われていました。現在では、「ユーザーにサービスを提供するための最後の区間（障壁）」という意味で使われています。 ドローンに詳しい方にはおなじみの、HDMI映像を無線で高速伝送する「Amimon Connex」。Amimonのデータ伝送仕様は、通常の360度映像フォーマット（正距円筒図法）には1フレームのデータサイズが小さすぎます。しかし、Picam360の映像圧縮技術は、アミモンのデータ伝送仕様と相性が良く、Amimonを使えば高画質の360度映像の伝送が可能であることに気づきました。 ということで、まだ構想ですが、Starlinkを試してみたところPicam360が接続できることを確認できました。Amimon Connexがラストワンマイルのソリューションになることを期待し、今実装しているところです。Amimon Connexで良い結果が出れば、高画質の360度映像をリアルタイムでどこにでも配信できるオンリーワンのシステムになると考えています。   Picam360リンク： ウェブサイト： https://www.picam360.com ウェブストア： https://store.picam360.com Twitter: https://twitter.com/picam360 Facebook:  https://www.facebook.com/Picam360/

PViewerのUnityアセットが、新たにNrealに対応しました。 対応機種に Nreal が追加されました。     Picam360リンク： ウェブサイト： https://www.picam360.com ウェブストア： https://store.picam360.com Twitter: https://twitter.com/picam360 Facebook:  https://www.facebook.com/Picam360/

没入感のある3D映像＋生配信＋音声コミュニケーション：リアル展示会ではできないことをバーチャル展示会で実現してみませんか？ 以前の記事で、Picam360を展示会で活用した事例をご紹介しました。 【活用事例】ステレオVR映像をライブストリーミングしてリモート出展 上述の活用事例では、展示会場に入らない大型設備のリモート展示に使っていただきました。 バーチャル展示会は、リアルな展示会と比較していくつかのメリットがあります。 展示会場には設置できないものでも展示できる 遠方の顧客にもアプローチできる 開催コストが低い 開催時間が自由 天候で客足遠のくことがない 密にならない ここで言うバーチャル展示会はウェブ上にCGで擬似空間を作るタイプではなく、実際の立体映像をリアルタイムに配信します。360度映像を生配信できるカメラやシステムはありますが、画質を例に挙げると4Kで40Mbpsといったように、画質が低く（360度の撮影範囲で4Kは低画質）かつ必要な通信速度は高い、というものが多く、リアルタイムで配信するにはハードルがあります。 Picam360は皆さんが見慣れているYoutubeやAmazon Prime Video等と同じレベル（表示画面画質でFullHD）の画質でしかもステレオ3D映像を4Mbpsで配信できます。モバイルネットワークでも配信できるので、バーチャル展示会を実現するツールとしてご活用いただけます。 今回は、遠隔地に説明員を置いて視聴者と会話しながら説明する、というケースを例にして使い方をご紹介します。 説明員： 説明員は視聴者から遠く離れた遠隔地にいます。 説明員はカメラの前に立って通話用ヘッドセットを付けています。説明員は視聴者と会話しながら商品について説明します。 まず、説明員のスマホとBluetoothヘッドセットをペアリングしておきます。 次にスマホにPViewerアプリ（iOSまたはAndroid）をインストールします。 配信の開始は、通常の使い方通りでアプリのCONNECTから接続します。この時に”Meeting”を選択して接続します。 “Meeting”は音声通話機能です。同じカメラに”Meeting”で接続すると2人以上でも複数人会話をすることができます。   視聴者： 今回は2名が同時に視聴します。 Meta Quest2を使用しています。Meta Quest2以外にもQuest1やスマホも使用できます。 Questやスマホはマイクが付いているので、外付けマイクは不要です。 Meta Quest2にPViewerアプリをインストールします。 配信の開始は、通常の使い方通りでアプリのCONNECTから接続します。この時に”Video+Meeting”を選択して接続します。”Video+Meeting”は映像と音声通話を指定しています。 以上、使い方の説明でした。 冒頭の活用事例ではリアル展示会と遠隔地を繋ぎました。リアル展示会場のネットワークは混線しやすい環境です。モバイルネットワークを使っていて安定しない場合は複数の携帯キャリアーを試してみて、繋がりやすいキャリアを選択すると良いと思います。 ご質問等ありましたら、公式ウェブサイトの問い合わせページからお問い合わせください。   Picam360リンク： ウェブサイト： https://www.picam360.com ウェブストア： https://store.picam360.com Twitter: https://twitter.com/picam360 Facebook:  https://www.facebook.com/Picam360/    

マルチストリーム機能とは、複数人で同時に同じカメラの映像を視聴できる機能です。 今回は新たに追加されたマルチストリーム機能のご紹介です。 Picam360カメラの映像をリアルタイムで視聴する場合、これまでは基本的にカメラに同時に接続して視聴できるビューワーは1つでした。マルチストリーム機能はカメラに対して複数のビューワーが同時に接続して視聴できる機能です。映像はだれかの視野方向に固定されるわけではなく、各ビューワーでそれぞれ好きな方向を見ることができます。 各ビューワーへの映像を生成するため接続数が増えるほど計算量も増えます。そのため、接続数の上限はデバイスの処理性能によって決まります。現時点で確認できているデバイスはJetsonXavierNX+Picam360HQカメラ(ステレオ)で、最大2つです。 設定 設定ファイルを開きます。 $ sudo nano /path/to/your/config/file e.g.) sudo nano /etc/pserver/config.json “wrtc_key” の下に”n_clients_limit” : 3を追記します。行末尾のカンマを忘れないように注意してください。3は同時に接続を許可するビューワーの上限数です。2ではなくて3の理由は、視聴者は最大2台で映像＋音声、配信者は1台で音声のみ接続、の計3台を想定しています。音声のみの接続については別の記事で説明したいと思います。 “meeting_enabled” : false,     “wrtc_enabled” : false,     “wrtc_key” : “unique_key”, “n_clients_limit” : 3,     “stream_def” : “default”, Ctrl+o, Ctrl+xで保存して閉じます。以上で設定は完了です。 Picam360リンク： ウェブサイト： https://www.picam360.com ウェブストア： https://store.picam360.com Twitter: https://twitter.com/picam360…

対応機種にOculus Quest1が加わりました。 PViewerはMeta Quest2 (Oculus Quest2)に対応してます。そして今回新たにOculus Quest1に対応しました。 Oculus Quest1をお持ちの方は是非お試しください。 Picam360リンク： ウェブサイト： https://www.picam360.com ウェブストア： https://store.picam360.com Twitter: https://twitter.com/picam360 Facebook:  https://www.facebook.com/Picam360/    

PViewerのブラウザ版がWebXRに対応しました。VR HMDのブラウザでフルスクリーン視聴できるようになりました。 こんにちは。Picam360コミュニティのGAKUです。今回は新機能のご紹介です。 PViewerのブラウザ版がWebXRに対応しました。VRヘッドセットの場合、360度のフルスクリーンで動画を視聴するには専用アプリが必要でしたが、WebXRの対応によりブラウザでフルスクリーン視聴できるようになりました。 ウェブにアップした動画のリンクをシェアすれば、アプリを入れていないくても簡単に視聴できるので、動画の共有が以前よりもっと簡単にできます。 Meta Quest2のブラウザなどのWebXRに対応したブラウザでPviewerの動画リンクにアクセスすると、画面にEnter VRボタンが表示されます。タップするとイマーシブモード（360度フルスクリーン）で視聴を楽しむことできます。 Picam360リンク： ウェブサイト： https://www.picam360.com ウェブストア： https://store.picam360.com Twitter: https://twitter.com/picam360 Facebook:  https://www.facebook.com/Picam360/    

2022年8月に東京で開催された「RESCUE EXPO in 立川」に出展されたコモタ株式会社様のブースにて、Picam360のリアルタイムステレオVRシステムを使って遠隔地からリモートで製品説明を実施するという使い方で、ご活用いただきました。 Picam360開発コミュニティーのGAKUです。今回はPicam360の活用事例をご紹介します。 2022年8月に東京で開催された「RESCUE EXPO in 立川」に出展されたコモタ株式会社様のブースにて、Picam360のリアルタイムステレオVRシステムを使った遠隔地からのリモート展示にご活用いただきました。 動画は展示ブースの様子です。 コモタ株式会社様  過疎化が進む地域ではガソリンスタンドの数が減少し、車や農業機械の給油、灯油の配送などインフラの維持が問題となっています。ガソリンスタンド向けPOSシステムの国内トップメーカーであるコモタ株式会社様は、その問題に対する1つのソリューションとしてコンテナ型給油所を開発されています。コンテナ型給油所は給油所を一つのパッケージにしたのもので、サイズも海上コンテナ規格となっています。つまりコンパクトで移設可能であり過疎地の需要に応じて場所を移動することができます。また災害現場へ設置して活用できる可能性もあります。 ＜コモタ株式会社　SS過疎地対策への取り組みについて＞ 「RESCUE EXPO in 立川」では、そのコンテナ型給油所を出展されており、ブースに入るサイズではないため展示会場から約30Km離れた設置場所をリアルタイムステレオVRで接続しました。設置場所には説明員がいて来場者は立体映像を通して説明を受けます。VRで来場者の関心を引き付けるとともに、一般的なビデオ通話よりも高画質かつ没入感のある立体映像によって製品の理解促進につながりました。 今回使用した機材 カメラ：PICAM360-FT45MP 視野角 水平：190°　垂直：150° 解像度：45 mega pixels フレームレート： 全天球換算 14K@8FPS 全天球換算 7K@30FPS コンピュートデバイス：Jetson Xavier NX VRヘッドセット：Oculus Quest2 遅延時間（実測値）：120ms ストリーミングビットレート：4Mbps ネットワーク回線：モバイルWIFI 上記の遅延時間は、遠隔地から30Km離れた展示会場のOculus Quest2に映像が表示されるまでの実測値です。高画質でありながら低遅延かつ軽量なリアルタイム配信を実現しています。 PICAM360-FT45MPについて詳しくはこちらをご覧ください。 ＜11K超えの最大14K！VRに最適な超高画質360度カメラが登場＞   Picam360リンク： ウェブサイト： https://www.picam360.com…

こんにちは。Picam360コミュニティのGAKUです。 今回は新機能のお知らせです。実はPicam360ソフトウェアは音声ストリーミングに対応していませんでした。Picam360のリアルタイムストリーミングは重機やドローンといった作業マシンの遠隔操作に活用されているユーザーが多く、利用シーンとして音声が必要ないことが多かったので、開発の優先度を下げていました。しかし最近、持ち運べないような大きな商品を設置してある場所から遠く離れた展示会場にVRでつないでリアルタイムにお客様にみてもらいたい、そういった使い方はできないかというご相談がありました。商品のある遠隔地には商品を解説する担当者の方がいて、音声が必要ということになり、ついに音声に対応したのでした。 ということで、新機能は音声になります。 用意するもの 音声機能はUSBマイクまたはBluetoothマイクをサポートします。また、PICAM360-4KHDRは実はマイクを搭載しています。マイクが搭載されているモデルをお持ちの場合は、オンボードのマイクが利用できます。 ソフトウェアバージョンアップ PserverとViewerアプリをバージョンアップします。それぞれのソフトウェアのバージョンは＜動作確認済み環境＞をご確認ください。 node-pserverをバージョンアップします@ Jetson Nano $ npm -g uninstall node-pserver # 旧バージョンをアンインストール $ npm -g install node-pserver@VERIFIED_VERSION # インストールする。@VERIFIED_VERSIONは@v0.1.1のように動作確認済バージョンを指定。 Pviewerをバージョンアップします＠ビューワーデバイス。PviewerはiOS, Android, Mac等それぞれに対応したアプリがありますので、各プラットフォームのアプリアップデート手順に従ってください。ここでは参考までにMacでの手順を記載します。 $ npm -g uninstall node-pviewer # 旧バージョンをアンインストール $ npm -g install node-pviewer@VERIFIED_VERSION # インストールする。@VERIFIED_VERSIONは@v0.1.1のように動作確認済バージョンを指定。 設定 マイクをJetson Nanoに接続します。 通常通りPserverを起動します。するとPserverのコンソールログに認識しているマイクのデバイス名が表示されるのでコピーしておきます。…

websocketによるストリーミング機能をインターネット越しに利用するために通信を中継するサーバーを作成する手順を紹介します。 WebRTCはネットワークのセキュリティー対策によって接続できないことがあります。特に企業や学校といった組織ではFirewallが設置されていることがほとんどです。そのようなケースでは通信ポートの制限などによって接続ない場合があり、それを回避できないかどうかセキュリティー担当者に相談しても対応してもらうことは難しいかもしれません。 そこで今回はWebRTCを使わず、websocket通信でインターネット越しに通信できるようにするために、websocket通信をリレーするサーバーを作成する手順をご紹介します。 中継サーバーを建ててみよう 中継サーバーを用意する まず、中継サーバーとしてグローバルIPが分かるサーバーを用意します。サーバーはAWSやVPSなど、お好きなものをご利用ください。利用できるサーバーをお持ちでなかったり、別で簡単に試したいなら、Linode（最近Akamaiに買収されました）の月額5USDのNanodeプランがおすすめです。海外のVPSサービスですが日本のリージョンも選択できます。サーバーを時間単位課金で作ってすぐ捨てる事が出来きます。従量課金ではないので、データ量の多い映像通信に使っても安心です。 新規でサーバーを契約した場合は、最低限のセキュリティ対策を実施しましょう。 【チュートリアル】VPSを借りたらやるべき最低限のセキュリティ初期設定 今回の記事では中継サーバーはUbuntuがインストールされていると仮定します。作業PCはMacとします。 ポートフォワーディング専用ユーザーの作成 ビューワーとカメラは双方向で通信します。中継サーバーとカメラデバイスの通信はsshのポートフォワーディングを利用します。ポートフォワーディングを利用するためにカメラデバイスからsshで中継サーバーにログインできる環境を作る必要がありますが、ログインして色々操作されては困るため、「ほとんど何もできないユーザー」を作って、sshはそのユーザーを利用するようにします。 中継サーバーにログインします。 まずユーザー追加します。portforward_userはユーザー名です。お好きな名前に置き換えることができます。 $ sudo adduser portforward_user 権限制限のシェルrbashを作成します（なければ） $ ln -s /bin/bash /bin/rbash #すでに存在する場合はエラーが表示されます。ln: failed to create symbolic link ‘/bin/rbash’: File exists /etc/shellsにrbashを登録します。ただしrbashが元々存在する場合は不要です。（ここではテキストエディタはnanoを使用しています。お好きなものをご利用ください） $ sudo nano /etc/shells … /bin/csh /bin/ksh /bin/zsh /bin/rbash　#この行を追加します ユーザーを切り替えます。 $ su -…

Macにビューワーアプリをインストールする手順をご紹介します。 本稿の英語版→English version is available here. Macにビューワーアプリをインストールする手順をご紹介します。 ビューワーアプリのインストール on Mac Xcode ビューワーアプリはXcodeに含まれるコンポーネントを使用します。 MacにまだXcodeが入ってなければインストールします。XcodeはMac App Storeからインストールすることができます。 https://apps.apple.com/us/app/xcode/id497799835?mt=12   パッケージのインストール ビューワーアプリに必要なパッケージをHomebrewを使ってインストールします。 MacにまだHomebrewが入ってなければインストールします。 ターミナルを開いてコマンドを実行します： /bin/bash -c “$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)” Homebrewがインストールできたら、パッケージをインストールします。ターミナルで以下のコマンドを実行します。 $ brew install cmake $ brew install pkgconfig $ brew install libjpeg $ brew install libpng   Node.jsのインストール…