もはや、手軽なVR動画撮影アイテムの代名詞ともなったRICOH THETA。多くの人に「すぐ手の届くVR体験」を提供したという意味で、テクノロジー史に特筆されるべきアイテムだと言える。

20e4ec4a-8730-46b8-9366-2dca1fe0752a

本稿執筆時点で現行の「THETA S」は、画質向上など旧機種からの大幅なパワーアップが行われているが、音声はモノラル収録であり、オーディオの没入感は映像に比べて今一歩という感が否めない。

またTHETAに限らず、音声がステレオ収録されたVR動画であっても「映像が回転しても音声はそのまま」となって、視覚と音声の左右が逆転してしまうケースがまだ多数派だ。

実は、YouTubeには既に「映像に連動して音も回転する」仕組みが搭載されている。ただ、本稿執筆時(2016年10月29日)では、Android版のYouTubeアプリ、またはパソコンのブラウザでアクセスした場合しか対応していない。それを踏まえた上で、サンプル動画を用意したので是非ヘッドフォン装着で下記動画を視聴して頂きたい。

YouTube:音も連動して回るVR映像(SPATIAL Audio)Ricoh Theta S+Zoom H2n (2016年10月現在、Android版YouTubeアプリとパソコンのみ対応

いかがだろうか?VR映像の方向が変わると、楽器演奏や人々の声も連動して回る、なかなか新鮮な体験を味わって頂けると思う。特に、0:30付近から近づいてくるトラックの音は、色々な方向を向いて聴いてみよう。

この動画は、映像がRICOH THETA S、音声がZOOM H2nで収録され、Adobe Premiere Pro CC2015で編集されている。今回は、一通りの作成手順をご紹介しよう。なお、サンプル動画に使用した元素材を下記に用意したので、是非ダウンロードして実際にお試し頂きたい。

VR編集の練習用素材をダウンロード

まずは素材の収録。THETAの動画は、三脚に据えて「普通に」撮るだけなので省略する。音声を収録するレコーダーのZOOM H2nは、コンパクトながら4方向の音声を同時収録できる優れたPCMレコーダー。筆者も、ここ何年か愛用している。

b8f2b2c5-9e13-4479-9909-540a254ea420

H2nは、ファームウェア・バージョン2.0で、VRと連動できる「SPATIAL AUDIO」の収録が可能になった。下記のメーカーページを参考に、ファームウェアの更新を行おう。

H2N、VRコンテンツ用サラウンド録音に対応(ZOOMのWebサイトへ)

設定は、H2n上で「MENU>REC SETTING>SPATIAL AUDIO」をONにするだけ。

b928d933-c814-442d-a3cc-1e0580caf095

bcbc3490-08e0-4dc2-8c7d-540e7f1a5eea

40c5ffb1-9e4c-4b09-ae47-963d952d6292

SPATIAL AUDIOのモードでは、下記のように3本のメーターが表示される。なお、モード中はサンプリング周波数は48KHzが上限となる。

52109696-1501-4f4a-b7b5-481489d6e9b9

練習用ファイル中の「h2n_audio(spatial).wav」はH2nで収録したもの、「theta_video.mp3」はTHETA Sで撮影した上で、RICOHの公式ユーティリティで平面視へのコンバートを完了させてあるものだ。

7ce9f898-5431-4a11-bece-a9f1461e4617

Premiere Proに素材を読み込み、h2n_audio(spatial).wavのソースを確認すると、下記のような4チャンネルの構成になっている(チャンネル3は空)。

0540d0c2-3c67-4e7a-9866-bd90bf9beb96

一般的なサラウンドのように4チャンネルでない事を不思議に思われるかもしれないが、ステレオ左右に加え「前後」の差分を出すためのトラックで、効率的に音場を演算していると思われる。

それでは編集を進めよう。Premiere Proで新規シーケンスを実行し、まずは「設定」のタブ内を下記のように設定する。これはTHETAの映像仕様に合わせた設定だ。

47b81e37-114c-47dc-97bf-8a8f965a4a26

そして重要なのが「トラック」のタブ。オーディオのマスターを「マルチチャンネル」、チャンネル数を「4」に設定した上で、THETAのオーディオ用トラックを一つ(種類は「標準」)、H2n用のトラックを4つ(種類は「モノラル」)作成する。

f3419f73-c060-4744-bff7-b1d50acc9307

次に「出力の割り当て」部分をクリックし、H2n用の4トラックのうち、1と2は「1-2」、3と4は「3-4」にチェックを入れる。

e5ee824a-9be7-46c6-ba24-fd50dd297bab

以上でシーケンスの設定は完了。プリセットとして登録しておくと便利だ。

作成したシーケンス上で「オーディオトラックミキサー」を起動し、パンを下記のように設定する。

1c30f4a4-352a-4b42-bec6-c70b8781e4b7

これで、4チャンネル分のオーディオが、全部バラバラに出力される状態となった。

それでは編集してみよう。まずはTHETAのビデオを、タイムラインの頭から配置する。

5195f266-2834-4d1c-a937-90cb7751c825

THETAとH2nは全く同期していないので、何かを目印に合わせる必要がある。今回は冒頭部分に、本体同士を軽く当てて「コツッ」というノイズを入れたので、それを基準にして位置を合わせる。

53b59ba4-9c85-4c60-9613-a7f66edeac4b

4cfc23d9-badc-4630-853c-851d2195b124

位置が合ったら、THETAの音声は以降使わないので、ミュートしておこう。

20f0c7b8-396a-4919-9414-2702b5ced679

以上でシーケンス上の必須な設定は全て修了。その他にサンプル動画で行っている、文字や図形、床面の画像挿入などはLynda.com日本版のコースで解説しているので、よろしければ併せてご覧頂きたい。

cc8cc239-74ba-49c2-b24e-16bed18fc80d

編集が完了したら、アップロード用のファイルを作成する。「ファイル>書き出し>メディア」を実行し、「形式」を「QuickTime」にする。

691df429-bf1f-4f37-bc51-31e6f945734f

「ビデオ」のタブで、下記のように設定する。ポイントは、通常VR動画の書き出しに必須な「VRビデオとして処理」のチェックを入れない(入れる必要が無い)点。これに相当する操作は後ほど別ツールで行う。

2d78250d-af5b-4a33-975b-9a28cbdbad6e

次に「オーディオ」の設定。出力チャンネルを「4チャンネル」にするのがポイント。

21ed5284-dc5e-4828-94a5-81a70bfc8dad


2016/11/2追記
Windowsで、セキュリティ上の理由でQuickTimeがアンインストールされていると、上記の設定が行えない。その場合は、映像と音声を下記設定で別々に書き出した上でこちらの記事「別々の映像・音声ファイルを、再エンコードせずに合体させる(XMedia Recode使用)」を参考に1つの.movファイルにまとめる手法で回避しよう。

ビデオの設定。H.264(.mp4)で書き出す。

vset

オーディオの設定。4ch仕様の.wavファイルで書き出す。

aset

2つのファイルを合体させる手順はこちら。
別々の映像・音声ファイルを、再エンコードせずに合体させる(XMedia Recode使用)


書き出されたムービーファイルを普通のプレイヤーで再生すると下記のようになり(画像は文字などを加えた結果)、音も「普通のステレオ」で聴こえるはずだ。

b07d2a98-dee0-4584-8364-6a02e17273d3

YouTubeに「映像も音もVRのファイル」と認識させるには、Googleが配布しているSpatial Media Injector」というツールを使ってメタデータを加える必要がある。下記のGitHubのリンクから、環境に合わせたものをダウンロードしよう。

Mac版
https://github.com/google/spatial-media/releases/download/v2.0/360.Video.Metadata.Tool.mac.zip

Win版
https://github.com/google/spatial-media/releases/download/v2.0/360.Video.Metadata.Tool.win.zip

2c9826a6-875c-4e35-b6bb-a658c3ac7bc4

起動すると、非常にシンプルな画面が表示される。まず「Open」をクリックし、Premiere proから書き出したムービーファイルを読み込む。

8c3cf597-c572-4ee0-b007-a6cbf8332d2a

次に「My video is spherical(360」と「My video has spatial audio(ambit ACN/SN3D format)」にチェックを入れ「Inject metadata」をクリックする。

9567b602-69cb-4e34-9050-9081042f0f6d

ファイルは、新たなムービーファイルとして保存される。これでファイルの準備は完了だ。

5a6c120c-2dab-4d49-b853-a37d2bce2620

YouTubeへのアップロードは特別な操作を必要とせず「普通に」行うだけで良い。ただし、VR動画は視聴可能になった後も数十分ほどVRのインターフェースが出ず、展開された映像で表示されてしまうことが多い。そのため、最初は限定公開などで実行し、VR表示できるようになったのを確認してから公開状態にした方が良いだろう。

d24e6dfe-444d-487c-8537-9511e6463868

以上の処理を行った結果が、冒頭でもご紹介したこちら。

YouTube:音も連動して回るVR映像(SPATIAL Audio)Ricoh Theta S+Zoom H2n (2016年10月現在、Android版YouTubeアプリとパソコンのみ対応

音声も連動して回ると、臨場感、没入感ともに大幅にアップする。是非、音も連動するVR動画の作成にチャレンジして頂きたい!