Picam360 公式ブログ

Jetson Nanoでステレオ魚眼カメラの映像をライブストリーミングしてみた

2つのPicam360カメラをステレオカメラとして設定しVR3D映像をライブストリーミングする手順をご紹介します。 本稿の英語版→English version is available here. こんちには、Picam360開発コミュニティのGAKUと申します。 久しぶりの投稿です。今回は2つのPicam360カメラをステレオカメラに設定する手順をご紹介します。 ステレオカメラとは? 人間の目と同じ原理で立体的な映像を見ることができるカメラです。私たちの目は2つの目で見ているため立体的に物を見ることができます。カメラも同じで、2台のカメラを並べて撮影し、左右の目でそれぞれのカメラの映像を見ると立体的に見えます。 今回使用した物 カメラ: PICAM360-4KHDR (8MP, WDRモデルでも可) x 2台…

魚眼カメラの映像をVRでライブストリーミングしてMacで見てみた

360度カメラのライブ映像をMacで見る方法をご紹介。 本稿の英語版→English version is available here. こんちには、Picam360開発コミュニティのGAKUと申します。 以前の投稿で、Jetson NanoやRaspberry Piを使ってPicam360の魚眼映像をVR映像としてライブストリーミングする方法をご紹介しました。その記事の中ではスマホアプリでライブ映像を視聴していましたが、Picam360のViewerアプリはさまざまなプラットフォームに対応しています。今回はMacでライブ映像を視聴してみます。 【過去記事】スマホアプリで視聴する様子: Jetson Nanoで魚眼カメラの映像をVRでライブストリーミングしてみた 今回使用した物 カメラ: PICAM360-4KHDR (8MP,…

Jetson Nanoで魚眼カメラの映像をVRでライブストリーミングしてみた

本稿の英語版→English version is available here. こんちには、Picam360開発コミュニティのGAKUと申します。 Picam360の魚眼映像をVR映像としてライブストリーミングする様子を撮影してみました。PICAM360-4KHDRとJetson Nanoを使って、インターネット越しにVR映像をライブストリーミングしています。下方の動画はスマートフォンのアプリで映像の視聴方向をコントロールしていて、そのスマホの画面をキャプチャしたものです。 この画質でビットレートは2MBps!モバイルネットワーク越しでもネットワーク速度が問題にならない軽さです。  カメラ: PICAM360-4KHDR サーバーデバイス: Jetson Nano ビューワー: PViewer…

Raspberry Piで魚眼カメラの映像をVRでライブストリーミングしてみた

Picam360カメラをRaspberry Piに接続して360度映像をリアルタイムストリーミングする手順を紹介。 本稿の英語版→English version is available here. こんちには、Picam360開発コミュニティのGAKUと申します。 Raspberry Pi4を使用して、Picam360の魚眼映像をVR映像としてライブストリーミングしてみました。今回はその手順をご紹介します。 実際の映像 Raspberry Piからスマホにリアルタイムストリーミングして、画面をキャプチャしたものです。(キャリブレーションをちゃんとやっていないので若干歪んでます) どうでしょうか?ビューワーも映っている状態で撮影したので実際の使用感は伝わるんじゃないかと思います。 今回のストリーミングのビットレート設定は1.5MBpsでした。Raspberry PiはJetson Nanoに比べて性能が劣るので解像度、フレームレートが低めですが(なのでJetson…

Jetson NanoでPicam360を始めよう – 6: 接続する

Picam360カメラをJetsonNanoに接続して360度映像をリアルタイムストリーミングする手順を紹介する連載、今回は最終回の第6回です。 本稿の英語版→English version is available here. こんちには、Picam360開発コミュニティのGAKUと申します。 前回の投稿ではビューワーアプリのインストール手順を紹介しました。最終回の今回はビューワーアプリからJetson NanoのPicam360に接続してリアルタイム映像を視聴するまでの手順を紹介します。 2つの接続経路 ローカルネット内接続: 同一ローカルネット内にあるJetson Nanoへ同じネットワーク内のビューワーアプリから接続します。この場合、外部ネットワークからはアクセスできません。 インターネット経由接続: WebRTCを使用してJetson Nanoへインターネット経由で接続します。外出先からスマホで自宅にあるJetson Nanoへ接続するといった使い方ができます。…

Jetson NanoでPicam360を始めよう – 5: ビューワーアプリのインストール

Picam360カメラをJetsonNanoに接続して360度映像をリアルタイムストリーミングする手順を紹介する連載、今回は第5回です。 本稿の英語版→English version is available here. こんちには、Picam360開発コミュニティのGAKUと申します。 前回の投稿ではカメラキャリブレーションの手順を説明しました。ここまでのステップでカメラの準備が整いました。今回は、動画を視聴するためのビューワーをインストールする手順を紹介します。 クロスプラットフォームに対応しています サーバーソフトウェアとビューワーアプリケーションはクロスプラットフォームに対応しており、様々なOS上で利用することができます。 デバイスサイドソフトウェア対応OS Windows, Mac, Linux, Raspberry Pi ビューワーアプリ…

Jetson NanoでPicam360を始めよう – 4: カメラキャリブレーション

Picam360カメラをJetsonNanoに接続して360度映像をリアルタイムストリーミングする手順を紹介する連載、今回は第4回です。 本稿の英語版→English version is available here. こんちには、Picam360開発コミュニティのGAKUと申します。 前回の投稿ではサーバーソフトウェアのPServer(ピーサーバー)をインストールする手順を説明しました。今回はカメラをキャリブレーションする手順を紹介します。 何をキャリブレーションするのか? 出荷状態のPicam360は調整されていない状態です。そのままでは撮影はできても綺麗な映像は撮れません。物理的なズレを調整し、レンズの状態の計測してソフトウェアに教える必要があります。 ピント調整: 出荷状態はピントは調整されていないので、ピントを調整します。 イメージセンサに対するレンズの位置: カメラのイメージセンサーに対してレンズは多少なりズレています。そのズレ量を計測してソフトウェアで画像の中心を補正します。 レンズの歪み補正: 魚眼レンズはレンズ内の位置によって歪み方が違います。それはレンズの特性であり、レンズのモデルによって異なり、同じモデルでも微小の個体差があります。その歪み方を計測してソフトウェアに教えます。ソフトウェアはその情報を用いて人間が見て自然な画像になるよう補正します。 キャリブレーションはいつ実施するのか?…

Jetson NanoでPicam360を始めよう – 3: サーバーソフトウェアのインストール

Picam360カメラをJetsonNanoに接続して360度映像をリアルタイムストリーミングする手順を紹介する連載、今回は第3回です。 本稿の英語版→English version is available here. こんちには、Picam360開発コミュニティのGAKUと申します。 前回の投稿ではSDカードにディスクイメージを書き込み、初回起動時の設定を行いました。今回はサーバーソフトウェアのインストール方法をご紹介します。サーバーソフトウェアはPServer(ピーサーバー)という名称のソフトウェアです。PServerはPicam360カメラの映像をキャプチャーして、Picam360 Video Format (PVF)に変換し、変換した映像をビューワーアプリへストリーミングする役割を担います。 サーバーソフトウェアのインストール コマンドラインインターフェースを使用してソフトウェアをインストールします。コマンドを実行する度に必ず画面に表示されるコマンド実行結果を見て正常に完了しているか確認しましょう。手順通りにコマンドを実行しても、SDカードイメージやソフトウェアが新しくなっていることによって、エラーが発生する場合があります。そのほとんどはエラーメッセージをウェブで検索すると解決方法が見つかります。 コマンドを実行して必要なソフトウェアをインストールします。コマンドを実行するためにターミナルを起動します。Jetson Nano上で直接操作するか、もしくはsshを使用してリモートで操作する方法があります。お好きな方を利用してください。 Jetson Nanoを直接操作する:…

Jetson NanoでPicam360を始めよう – 2: SDカードイメージの書き込み

Picam360カメラをJetsonNanoに接続して360度映像をリアルタイムストリーミングする手順を紹介する連載、今回は第二回です。 本稿の英語版→English version is available here. こんちには、Picam360開発コミュニティのGAKUと申します。 前回の投稿では注意事項と必要な物をリストアップしました。今回はNvidia社が提供するJetson NanoのSDカードイメージをSDカードに書き込む手順と、初回起動時の設定手順をご紹介します。 SDカードイメージの書き込み Jetson NanoのSDカードイメージはNvidia社から提供されています。手順はNvidia社ウェブサイトで見ることができます。下記リンクのウェブサイトを参照してSDカードイメージを書き込んでください。 Nvidia社:Getting Started with Jetson Nano…

Jetson NanoでPicam360を始めよう – 1: 必要な物と注意事項

Picam360カメラをJetsonNanoに接続して360度映像をリアルタイムストリーミングする手順を紹介します。 本稿の英語版→English version is available here. こんちには、Picam360開発コミュニティのGAKUと申します。 前回の投稿ではPicam360の概要についてご紹介しました。今回はサーバーデバイスとビューワーアプリをセットアップして、360度映像をローカルネットワーク経由、またはインターネット経由でリアルタイムストリーミングする手順を紹介します。 サーバーデバイスとビューワーの組み合わせは複数あります。今後の投稿は以下の中から組み合わせて、いくつか紹介していきます。 サーバーデバイス Jetson Nano, Mac, WindowsPC ビューワーアプリ スマホ(iOS, Android),…

新しいソフトウェアをリリースしました

より高性能かつ高画質になった動画変換処理、導入しやすくなったサーバーサイドソフトウェアとビューワーアプリ、さらに動画配信ウェブアプリと、Picam360に関する環境を新しく構築しました。 本稿の英語版→English version is available here. こんちには、Picam360開発コミュニティのGAKUと申します。 最近は新しいソフトウェアの開発に注力していたので、全く記事を更新していませんでした。ご覧になっていただいた方々、すみませんでした。 更新していなかった間何をしていたかというと、私たちは約2年をかけてPicam360の動画変換処理を改善し出力される動画を高画質にしました。また、サーバーサイドソフトウェアとビューワーアプリを一新し、さらに動画配信ウェブアプリの追加と、Picam360とその周辺環境を新しく構築していました。ソフトウェア達は既存のものから得た知見を活かした全く新しいバージョンにアップグレードされました。まだ予定しているソフトウェアの全てが揃ったわけではありませんが、おおよそ揃いました。まだ揃っていないものも、この1、2ヶ月の間にリリースする目処が立っています。これからそれらについて皆さんにご紹介していけることに興奮しています。 さて、これまでは不定期に更新していたこのブログですが、これからは毎週お届けしていきます。内容はPicam360に関するニュースと、技術的なものを中心に掲載していきます。 技術的に面白い、役に立つという内容であることを記事の基準として作成していきますので、楽しんでいただければと思います。ブログも新しいスタートを切るわけですが、これまでに掲載していながら中断状態だった記事があります(Jetbotなどの記事)。それらは古いソフトウェアを使用していて今回の新ソフトウェアのリリースによって、内容を継続できなくなってしまっため、申し訳ありませんが更新は終了します(いつか新しく書き直すことがあるかもしれません)。ご理解のほどよろしくお願いします。 新しくスタートするブログの第一段にあたる本稿は、まずPicam360がどういうものであるかという内容を新しいソフトウェアで変わった点も含めて紹介します。 Picam360とは? まず、Picam360について説明します。これまではPimca360についての情報発信は、十分とは言えませんでしたのでこの説明はPicam360を初めて知った方はもちろん、既に知っていた方にも発見があるかもしれません。 USB接続タイプのパノラマカメラです Picam360は360度(半天球)を画角に収める広角レンズを搭載したカメラです。コンピューターにはUSBで接続します。通信規格はUVC(USB Video…