Picam360 公式ブログ

Jetson NanoでPicam360を始めよう – 5: ビューワーアプリのインストール

Picam360カメラをJetsonNanoに接続して360度映像をリアルタイムストリーミングする手順を紹介する連載、今回は第5回です。 本稿の英語版→English version is available here. こんちには、Picam360開発コミュニティのGAKUと申します。 前回の投稿ではカメラキャリブレーションの手順を説明しました。ここまでのステップでカメラの準備が整いました。今回は、動画を視聴するためのビューワーをインストールする手順を紹介します。 クロスプラットフォームに対応しています サーバーソフトウェアとビューワーアプリケーションはクロスプラットフォームに対応しており、様々なOS上で利用することができます。 デバイスサイドソフトウェア対応OS Windows, Mac, Linux, Raspberry Pi ビューワーアプリ…

Jetson NanoでPicam360を始めよう – 4: カメラキャリブレーション

Picam360カメラをJetsonNanoに接続して360度映像をリアルタイムストリーミングする手順を紹介する連載、今回は第4回です。 本稿の英語版→English version is available here. こんちには、Picam360開発コミュニティのGAKUと申します。 前回の投稿ではサーバーソフトウェアのPServer(ピーサーバー)をインストールする手順を説明しました。今回はカメラをキャリブレーションする手順を紹介します。 何をキャリブレーションするのか? 出荷状態のPicam360は調整されていない状態です。そのままでは撮影はできても綺麗な映像は撮れません。物理的なズレを調整し、レンズの状態の計測してソフトウェアに教える必要があります。 ピント調整: 出荷状態はピントは調整されていないので、ピントを調整します。 イメージセンサに対するレンズの位置: カメラのイメージセンサーに対してレンズは多少なりズレています。そのズレ量を計測してソフトウェアで画像の中心を補正します。 レンズの歪み補正: 魚眼レンズはレンズ内の位置によって歪み方が違います。それはレンズの特性であり、レンズのモデルによって異なり、同じモデルでも微小の個体差があります。その歪み方を計測してソフトウェアに教えます。ソフトウェアはその情報を用いて人間が見て自然な画像になるよう補正します。 キャリブレーションはいつ実施するのか?…

Jetson NanoでPicam360を始めよう – 3: サーバーソフトウェアのインストール

Picam360カメラをJetsonNanoに接続して360度映像をリアルタイムストリーミングする手順を紹介する連載、今回は第3回です。 本稿の英語版→English version is available here. こんちには、Picam360開発コミュニティのGAKUと申します。 前回の投稿ではSDカードにディスクイメージを書き込み、初回起動時の設定を行いました。今回はサーバーソフトウェアのインストール方法をご紹介します。サーバーソフトウェアはPServer(ピーサーバー)という名称のソフトウェアです。PServerはPicam360カメラの映像をキャプチャーして、Picam360 Video Format (PVF)に変換し、変換した映像をビューワーアプリへストリーミングする役割を担います。 サーバーソフトウェアのインストール コマンドラインインターフェースを使用してソフトウェアをインストールします。コマンドを実行する度に必ず画面に表示されるコマンド実行結果を見て正常に完了しているか確認しましょう。手順通りにコマンドを実行しても、SDカードイメージやソフトウェアが新しくなっていることによって、エラーが発生する場合があります。そのほとんどはエラーメッセージをウェブで検索すると解決方法が見つかります。 コマンドを実行して必要なソフトウェアをインストールします。コマンドを実行するためにターミナルを起動します。Jetson Nano上で直接操作するか、もしくはsshを使用してリモートで操作する方法があります。お好きな方を利用してください。 Jetson Nanoを直接操作する:…

Jetson NanoでPicam360を始めよう – 2: SDカードイメージの書き込み

Picam360カメラをJetsonNanoに接続して360度映像をリアルタイムストリーミングする手順を紹介する連載、今回は第二回です。 本稿の英語版→English version is available here. こんちには、Picam360開発コミュニティのGAKUと申します。 前回の投稿では注意事項と必要な物をリストアップしました。今回はNvidia社が提供するJetson NanoのSDカードイメージをSDカードに書き込む手順と、初回起動時の設定手順をご紹介します。 SDカードイメージの書き込み Jetson NanoのSDカードイメージはNvidia社から提供されています。手順はNvidia社ウェブサイトで見ることができます。下記リンクのウェブサイトを参照してSDカードイメージを書き込んでください。 Nvidia社:Getting Started with Jetson Nano…

Jetson NanoでPicam360を始めよう – 1: 必要な物と注意事項

Picam360カメラをJetsonNanoに接続して360度映像をリアルタイムストリーミングする手順を紹介します。 本稿の英語版→English version is available here. こんちには、Picam360開発コミュニティのGAKUと申します。 前回の投稿ではPicam360の概要についてご紹介しました。今回はサーバーデバイスとビューワーアプリをセットアップして、360度映像をローカルネットワーク経由、またはインターネット経由でリアルタイムストリーミングする手順を紹介します。 サーバーデバイスとビューワーの組み合わせは複数あります。今後の投稿は以下の中から組み合わせて、いくつか紹介していきます。 サーバーデバイス Jetson Nano, Mac, WindowsPC ビューワーアプリ スマホ(iOS, Android),…

新しいソフトウェアをリリースしました

より高性能かつ高画質になった動画変換処理、導入しやすくなったサーバーサイドソフトウェアとビューワーアプリ、さらに動画配信ウェブアプリと、Picam360に関する環境を新しく構築しました。 本稿の英語版→English version is available here. こんちには、Picam360開発コミュニティのGAKUと申します。 最近は新しいソフトウェアの開発に注力していたので、全く記事を更新していませんでした。ご覧になっていただいた方々、すみませんでした。 更新していなかった間何をしていたかというと、私たちは約2年をかけてPicam360の動画変換処理を改善し出力される動画を高画質にしました。また、サーバーサイドソフトウェアとビューワーアプリを一新し、さらに動画配信ウェブアプリの追加と、Picam360とその周辺環境を新しく構築していました。ソフトウェア達は既存のものから得た知見を活かした全く新しいバージョンにアップグレードされました。まだ予定しているソフトウェアの全てが揃ったわけではありませんが、おおよそ揃いました。まだ揃っていないものも、この1、2ヶ月の間にリリースする目処が立っています。これからそれらについて皆さんにご紹介していけることに興奮しています。 さて、これまでは不定期に更新していたこのブログですが、これからは毎週お届けしていきます。内容はPicam360に関するニュースと、技術的なものを中心に掲載していきます。 技術的に面白い、役に立つという内容であることを記事の基準として作成していきますので、楽しんでいただければと思います。ブログも新しいスタートを切るわけですが、これまでに掲載していながら中断状態だった記事があります(Jetbotなどの記事)。それらは古いソフトウェアを使用していて今回の新ソフトウェアのリリースによって、内容を継続できなくなってしまっため、申し訳ありませんが更新は終了します(いつか新しく書き直すことがあるかもしれません)。ご理解のほどよろしくお願いします。 新しくスタートするブログの第一段にあたる本稿は、まずPicam360がどういうものであるかという内容を新しいソフトウェアで変わった点も含めて紹介します。 Picam360とは? まず、Picam360について説明します。これまではPimca360についての情報発信は、十分とは言えませんでしたのでこの説明はPicam360を初めて知った方はもちろん、既に知っていた方にも発見があるかもしれません。 USB接続タイプのパノラマカメラです Picam360は360度(半天球)を画角に収める広角レンズを搭載したカメラです。コンピューターにはUSBで接続します。通信規格はUVC(USB Video…

Jetbot + VR180 : Part 1 – 前書き

Jetbot + VR180 2019年3月、NVIDIA 社は最先端の AI を活用できるコンパクトで安価なコンピュータ、Jetson Nanoを発表しました。さらに彼らはオープンソースウェアロボットのJetbotも公開しました。Jetbotは3Dプリントパーツで構成され、ソフトウェアはUbuntu Linux上で動作します。ハードウェアの構成、ソフトウェアはGithubで公開されており、さらにソフトウェアがインストール済みのSDカードイメージも配布されています。Jetbotは気軽にAIコンピューティングとロボット制作を学ぶことができる良いプラットフォームといえるでしょう。 この記事はJetbotにPicam360(4Kタイプ)を2つ接続して、3D180度動画をライブストリーミングするまでの手順をシリーズで紹介していきます。Picam360のリアルタイム3D動画により、まるでJetbotに乗り込んで運転しているような感覚を体験することができます。   Jetbotではなく通常のJetson nanoでもステレオ3Dを利用できますか? 可能です。 Jetbotではなく通常のJetson nanoにPicam360ソフトウェアをインストールして使いたい方もいるでしょう。それは可能です。その手順はJetbotにPicam360ソフトウェアをインストールする手順と基本的に同じです。この連載の手順を参考にしてみてください。  …

Jetson NanoをサポートしてH.265のビデオ転送が利用可能になりました

Picam360はJetson Nanoをサポートし、H.265でビデオを転送することを可能にしました。 これにより、H.264と比べて帯域幅が半分になります。 ソースコードはすでにgithubにアップロードされているので、すぐに試すことができます。 https://github.com/picam360 H.265ストリーミングプロセスに興味がある方は、下記リンク先を見てみるとお役に立てるかもしれません。 https://github.com/picam360/picam360-capture/blob/master/plugins/gst_encoder/gst_encoder.c エンコーダはGStreamer、デコーダはlibde265です。 Jetson Nanoには十分な処理能力があるため、4Kカメラのサポートも検討しています。 近い将来、新しいカメラをご紹介できるかもしれません。

新デザインの走行実験@プール

新しいPicam360-SurfaceWalkerランニング実験がプールで行いました。 新しいデザインの特徴: – 全方向性ボディ – 一人で持ち運べるコンパクトサイズ – 4つのスクリューを装備。もし一部のスクリューが停止しても 動作可能。 – コントローラなどを含むコア部は3Dプリント部品で防水を実現(オープンソースハードウェアなので設計・製造方法を公開予定) 3Dプリントのパーツで防水機構を実現するという無謀とも思える課題に挑戦しました。 FDM(樹脂を溶かして積層する)の3Dプリント部品には目に見えないですが沢山の隙間ができます。 また、モジュールを繋ぐためにはケーブルの接続が必要です。つまり穴が必要になります。 それ以外にも防水を実現するためには多くの課題がありました。 さらに、誰でも製造できるように新しい設計を求めました。 プールでの実験は良好で、次は湖でテストします。…

円形の船体

実験的にSurfcaeWalkerの円形の船体を開発しています。 写真は船体を製造するための3Dプリントモールド部品です。 写真では半分しか撮影されていませんが、完全な円になります。 船体は、この型の上に蓋をしてウレタンフォームをその中に注入することによって製造されます。 丸い形状で、複数のモータースクリューが取り付けられているという意味は何でしょうか? 船体は方向性を持たず、360°どの方向にも進むことができる。 これにより、真の意味で「Walker」と呼べるのかもしれません。 >Picam360-SurfaceWalker特設ページ