360パノラマ

2015年10月リコーのシータSが発売されました。
これまでのシータ（初代、m15）と比較して、内蔵メモリの倍増（4→8GB）、解像度の向上（4倍）と、シャッタースピード延伸（60秒まで可能）、HDモードの搭載、動画記録時間増加（5分→25分）など、かなり"使える"スペックになっています。

この記事では、シータSのサイトに掲載されている"山頂からの天の川写真"に触発され、「本当に星空が写るのか？」を検証しました。

撮影は、2016/01/03　22:00頃から　晴天で空気の澄んだ状態で、新城・豊川・岡崎の合流地点である"本宮山"にて行いました。


■撮影条件

カメラ：　リコーシータS　※スペックを参照
日時：　2016/01/03　22:00-
場所：　愛知県本宮山　、新城総合公園
条件：　ISO感度、シャッタースピード、撮影場所を変えながら、写り方を比較

■リコーシータSスペック

https://theta360.com/ja/about/theta/s.html

＜360プレゼンテーションの新しい形（AR技術の活用）＞

AR Processing Serverの主な機能

・ARマーカー、位置情報、QR/バーコード、ビーコン（androidのみ）を使った情報トリガーを複数同時に使用可能
・あらかじめ関連付けられたカメラ画像の適切な位置に重ね合わせ表示
・コンテンツ（テキスト、図形、写真）の2D/3D表示
・コンテンツのタップアクション定義（ファイルダウンロード、URL起動）
・3Dモデル（obj/mtl形式）の起動
・コンテンツのオフラインキャッシュ
・シナリオ、シーン、ARマーカー管理
・Webブラウザ、モバイルデバイスを使ったコンテンツオーサリング
・Javascriptライブラリ、Androidネイティブアプリケーション開発機能
・REST API（AR重ね合わせ表示定義の新規登録、更新、取得、削除）

詳しくは、こちら（FUJITSU > Software > Interstage AR Processing Server > 機能）をご覧ください。

＜全自動のパノラマ動画カメラ＞

360動画を簡単に撮影、再生できる360°カメラ"Bublcam（バブルアカム）"がカナダのbubl社からリリースされました。

これまで、360°動画を撮影できるハードウェアは、LadybugやGoProを複数台使ったもので、どれも高価であったり、後処理に手間が掛かるものでした。

＜静止画で撮ったパノラマを動画にできる＞

夜景や星空などの表現のために、360パノラマを高精細な静止画で撮影し、動画化する手法を開発しました。

静止画で撮影することで、動画で撮影する場合よりも高精細、かつISO感度や露出などの撮影パラメータを細かく設定でき、自由なフレームレートや解像度に後処理できるメリットがあります。


このサンプルは、当社の屋上からの風景を1分に1回の頻度で撮影した360パノラマ計42枚を、240倍速の動画としています。

＜安価なデジタルサイネージの実現方法＞

2015/04 Intel StickPCをアイオーデータから入手できるようになりました。
StickPCは、USBから給電し、HDMIディスプレイに接続することで、独立したWindowsPCとして動作します。
USBハブ経由でマウスやHDDなども接続できます。Bluetoothキーボードの利用も可能です。

もし、このフルスペックPCを、デジタルサイネージ端末として活用できたら、インタラクティブな看板の機能を大変に安価に実現できるはずです。

早速、当社で扱っているソフトウェアやコンテンツが動作するかどうかを確認してみました。




StickPCに関する情報はこちら
http://www.iodata.jp/ssp/pc/stickpc/

＜360動画の臨場感をアーカイブに活用＞

2015/03より動画配信サービスのYoutubeが、360動画の配信サポートを開始しました。
弊社で以前から使用しているGoProやこれから販売されるBublcam、360camもYoutubeによる配信に対応しています。
従来は、専用のクライアントソフトや、360動画配信専用のホスティングサービスを利用する必要があったところ、Googleアカウントさえ持っていれば、誰でも360動画を配信できるようになりました。

イベント、映画などの販促ツールとして360動画が用いられることでしょう。
当社の事業との関連としては、映像や画像のデジタルアーカイブが挙げられます。

民俗伝承や祭り、景観などの保存、追体験のために、360動画を活用、Youtubeへ投稿すれば、その圧倒的な臨場感を、費用をかけずに、多くの利用者に届けることができます。

下記は、2015/05/16（土）に犬山市の青塚古墳イベント"邇波史楽座"で行われた太鼓演奏です。
（打雅奴（だがや）さん、広瀬まりさんの承諾をいただいて、掲載しています）

※Google　Chromeブラウザでご覧いただくと、360度任意の方向を閲覧できます。




01:熊野～八丈太鼓
演奏：和太鼓グループ打雅奴（だがや）

録音はRolandのバイノーラルマイク（立体音響マイク）で行い、動画の音声と差し替えています。是非ヘッドフォンで臨場感をお楽しみください。

"特定非営利活動法人　古代邇波の里・文化遺産ネットワーク "はこちら
http://niwasato.net/home/

"打雅奴（だがや）"に関する情報はこちら
http://dagaya567.sakura.ne.jp/

広瀬まりさんに関する情報はこちら
https://ja-jp.facebook.com/people/Mari-Hirose/100004668944117

360動画に関する情報はこちら
http://webapp.nakasha.co.jp/site1/services/360movie.html

Youtube360動画に関する情報はこちら
https://support.google.com/youtube/answer/6178631?hl=ja

＜リアルタイム360ストリーミング（予定）がこんなに安価に＞ フランスのGIROPTIC社から、4K静止画、タイムラプス、2K動画、Wi-Fi、有線LANストリーミング
全部入りの360カメラが遂に登場しました。（2015/04現在はDeveloperKitの段階です）
スマートフォン、タブレットやPCに対応したビューア、コントローラが後日リリースされる予定です
現在の予想価格は、本体のみ499ドルです
アクセサリー等の詳細はこちらをご覧ください。



主な機能

360　x　300　FieldOfView（185FishEyeLens　x　3）
動画：2048ｘ1024　30fps　mp4(h.264）　RTSP
静止画：4096ｘ2048　3fps　jpeg
Wi-Fi（2.4GHz、802.11　b.g.n　72.2Mbps）
PoE　Ethernet
タイプラプス、HDR
GPS、Gyroscope
MicroUSB
microSD
重さ：180g
リチウムイオン電池：1180mAH、3.7V（動画モードで連続60分動作、Wi-Fiオフ）
防水

情報

kickstarter（英語）
Gigazine（日本語）
Panoramania Diary（日本語）

＜長時間の歩行撮影も楽々＞ タイマー撮影や動画を歩行撮影する際、これまでは一脚を下で支えながら、Wi-Fiリモコンを操作するか、三脚にドリーを付けて押しながら撮影するか、または、ヘルメットにマウントして撮影する手法がありました。

しかし、どの手法も下記のような課題がありました。

一脚を支えながら撮影する場合
→長時間の撮影は疲れる

三脚+ドリーで撮影する場合
→撮影者が常に映り込む

ヘルメットにマウントする場合
→首の傾きが大きく、スティッチ精度に悪影響がある


・・ということで、腰や背中で傾きを安定させ、長時間の撮影を楽に行えるように、歩行撮影用のトレッカーを制作してみます。



結果

傾きが安定したパノラマ写真が得られました。
モバイルバッテリーとカメラをUSBケーブルで接続し、連続撮影が可能になりました。
タイマー撮影開始と同時にGPSデータロガーをスタートすることで、位置情報とパノラマ写真を同期できることを確認しました。

材料

背負子　アルミフレームパックBB-905
一脚　ベルボンUP-400
結束バンド
シリコンゴムマット

＜360パノラマを大量にマシン処理する手法＞ 連写やタイマー撮影などで大量の360パノラマを撮影した場合、そのスティッチ作業の所要時間は、膨大なものになります。
例えば、車載やUAV空撮の場合に、1秒1枚のタイマー撮影の場合、10分連続撮影しただけで600枚ものスティッチが必要になります。
仮に1枚を5分で加工できたとしても、3000分（=50時間）の作業になります。
この間、データの読み込み、パラメータ調整、レンダリングが人の作業とPC処理が混在し、作業者が拘束されます。

もし、あらかじめ調整したテンプレートを利用して、一括処理ができたら、加工時間とマシン処理時間を完全に分離でき、人の関与を著しく少なく出来るはずです。

・・ということで、スティッチ作業をバッチ化できないかどうかを検証してみました。


結果

1200枚のスティッチを1日（1人、PC1台）で完了しました。
人の作業が、テンプレート作りと作業段取りで2-3時間程度なので、3台のPCを1人で担当すれば、処理枚数は3600枚程度まで高められます。（DELL社のゲーミングPC　Alienware　X51の場合）

また作成したjpegに外部から一括してEXIF情報（緯度経度など）を付加することが出来ました。
バーチャルツアー作成ソフトPanotourProに読み込ませれば、EXIFの緯度経度を使って地図上に落とすことが可能です。

前提

カメラ配置や撮影方向、撮影条件が大きく変わらないこと
傾きが大きく異ならない連続写真であること

＜360パノラマ撮影時にLED照明でちょっとだけ照らす＞ 360パノラマの撮影で、橋梁の裏や支承部など狭いところや、暗所を写すことがあります。
投光機と発電機を準備して遠くから照らすなどの手法をとれない場合もあり、カメラの直近にLEDを配置すれば良いのでは？と思い立ち試作してみました。

複数ポート付いているモバイルバッテリーとUSBタイプのLEDライトを使ってみます。


USBタイプのLED



LEDのレイアウト

注意：
ここでご紹介しているLED照明は、当社が使用するものであり、販売は予定しておりません。

＜360パノラマのスティッチ精度向上のためにGoPro用リグを自作する＞ 弊社360パノラマ撮影で長らく使っているFreedom360や360Herosの360H6、H3PRO6などの全天球レイアウトは、一脚の存在を消した完全な球体イメージを作成出来るのですが、すべての画像が斜め方向で接合されるので、スティッチが難しく、生成された360イメージにも斜めの割れ目が生じがちでした。

特に、水平、垂直で構成される屋内、屋外の構造物では、接合部分が分かりやすく、スティッチ精度向上が課題でした。
近接撮影時には、写真同士がうまくつながらないPararax Errorの問題も出てきます。

編集作業時の使いづらさとして、カメラ番号と方向が直感的に分からなかったり、カメラの元データを生かそうにも、斜めレイアウトなので再利用しにくい・・などの問題がありました。

そこで今回、上記を解決すべく、LadybugやH3PRO6Nのレイアウトと類似した、五角形＋上レイアウトを可能にするリグを自作し、精度を検証しました。


カメラのレイアウト

カメラレイアウトは、正確に描かれた五角形に垂線、交点を描き、GoProのレンズ中心線が中心で交わるようにレイアウトしてみます。
GoProの12MPWideView（4:3）の垂直画角は94.4度なので、五角形の72度では片方9度分の重なりがあります。これで横方向のスティッチは十分です。縦方向のFOVは122.6度なので、上に乗せたカメラの画角の小さい方で90度でも、180度カバーできます。片方16度の重なりがあるのでスティッチも十分可能です。

参考：GoProのFOV





制作したリグ

アクリル板をカットし、GoProが正確にホールドされるようにマウントします。
（裏側はGoProのボディの溝に丁度合うような突起を作ってあります）

注意：
ここでご紹介しているリグは、当社が使用するものであり、販売は予定しておりません。

★チラシ_表_141029.pdf



★チラシ_裏_141029.pdf

『 映像表現は、今 360度全方位パノラマへ 』

全方位をもれなく完全に記録する"360度パノラマ映像"と、
スムーズな視点移動が可能な バーチャルリアリティディスプレイによって、
直感的な映像表現が可能になりました。




土木、建設、製造などの現場やオフィスで、
このように感じたことは、ありませんか？

「 撮りもれなく記録したい 」
「 遠くて見えないものを見たい 」
「 危険な箇所を安全に見たい 」
「 普段公開していないところを見せたい 」
「 現場をリアルに共有したい 」
「 現場に行く回数を減らしたい 」

360パノラマカメラが切り取る、完全な空間
ギガピクセルパノラマが記録する、高精細な映像
ヘッドマウントディスプレイが表現するリアルな疑似体験

これら最先端の技術が、現場とオフィスを繋ぎ、
映像によるコミュニケーションの質を高めます。

＜360パノラマをOculusRiftで立体視する＞

360Heroes製3DH3PRO12 (3D 360 VIDEO/PHOTO GEAR)を使って、360パノラマのステレオ立体視（Stereoscopic 3D Panorama）にチャレンジしています。

3DH3PRO12は、12台のGoProカメラを右目用6台、左目用6台に割り当て、それぞれに360パノラマを構成する仕組みです。左右の360パノラマはIPD(瞳孔間距離)63.5ミリ程度離れた状態で撮影されるため、視差が生じ、人間の目には立体感が感じられるというものです。

Stereoscopic3Dは、赤と青のメガネを使ったものや、偏向レンズを使ったメガネを使ったもの等が、雑誌付録や3D映画などでも利用されていますが、360Heroesの3DH3PRO12とKolor社のソフトウェア技術、OculusRiftによって、360パノラマも立体視が可能になりました。

OculusRiftでパノラマコンテンツを閲覧する詳細は、以前記事にした「Kolor Eyes + Oculus Rift」や「krpano + Oculus Rift」をご覧ください。以前の記事では2Dモードでの閲覧でしたが、今回のコンテンツでは、より立体感や距離感がはっきりする3D（SideBySide形式の）で閲覧できます。

※FOVやIPDと視聴体験（3D酔い）について、OculusVR社の開発者向けドキュメント（要ログイン）や有志よる翻訳が参考になります。


12台のGoPro


3DH3PRO12

注意：
360Heroesのリグの取り扱い、組み立て等は当社では行っておりません。
OculusRiftの輸入、サポート等も当社では行っておりません。（OculusVR社が日本からの直接発注を受け付けています。要クレジットカード）

＜防水ケースで360パノラマを撮影＞

GoPro防水ケースに対応した360パノラマリグ（360Heroes製360H6）を使って、水のあるところを撮影してみました。

滝の真下で水滴を受けながらの撮影や、水中でも水に浸入されることなく、正常に撮影できました。

360H6とGoPro防水ケースを組み上げた図



注意：360Heroesのリグの取り扱い、組み立て等は当社では行っておりません。

滝の下で水滴を受ける図


川の中