2017年12月13日、VR映像の第一人者である染瀬直人さんが主催する「VR未来塾」のイベント「VR編集ソフトウェアを極めるvol.1 Adobe CCのVR機能 徹底解説」にて、AfterEffectsのVR機能や空間音声についてお話させて頂いた。
当日の模様は下記のPronews記事で詳細にレポートされている。
https://www.pronews.jp/news/20180104150442.html
当日のデモ用に、空間音声としてミックスしたBGM及びSEと、AfterEffects内で生成したグラフィックが連動するVR動画の作例を用意した。


※iOS、AndroidではYouTubeアプリで視聴してください。
今回は、実際にお試し頂けるサンプル素材を交えながら、デモで用いている手法について解説しよう。

楽曲の制作

今回はBGM自体を空間音声に対応させたかったので、曲のミックスをサラウンド(5.1chは使わず、前方左右、後方左右の4ch)で行った。ソフトは普段音楽制作にメインで使っているSteinberg Cubase Proだったが、この段階はサラウンド対応のソフトであればどれでも対応できるだろう。

ミックス結果は、4ch仕様のWavファイルとして書き出す(画像はCubaseで書き出したファイルをAuditionで開いて表示したもの)。

4ch仕様でミックスしたBGMのサンプルファイルはこちらからダウンロードできるので、実物でご確認頂きたい。

AfterEffectsでのVR環境作成

今回は、AfterEffects CC2018より加わった機能を使い、VR環境をゼロから作っている。簡単に手順を追ってみよう。
まずは、最終出力のコンポジション(展開された状態のVRビデオ)の横幅の1/4で正方形を作成する(例えば4KのVR映像3840×1920を最終出力にする場合は960×960のコンポジションを作成)。

「コンポジション>VR環境を作成」を実行し、「現在のコンポジションからVRを作成」を選んで「VR出力を生成」をクリックする。


自動的に「VRサポートプリコンポジション」が作成され、前面、背面、左右、上下各々のコンポジション中にグラフィックを作成すると、その方向に配置されるという仕組みになっている。

今回は、各方向で鳴る楽器パートやSEを個別のWavファイルに書き出し、その音声に反応して描画されるモーショングラフィックを6方向それぞれに作成した。個々の方向のコンポジションでは「オーディオウェーブフォーム」で描画した波形を「極座標」で円形にするという処理を行っている(エフェクトの設定は画像をご確認頂きたい)。


「VR出力」のコンポジションには、各方向の描画が集約されて正距円筒図法(Equirectangular)に展開されるので、これをムービーファイルに書き出すか、ダイナミックリンクでコンポジションのままPremiere Proに読み込ませる。

プラグインでオーディオをアンビソニックスに変換する

最終的な仕上げはPremiere Pro上で行う。プリセットからVR-アンビソニックス仕様のシーケンスを作成し、映像と音声を配置する。


この時点で音声はまだ4chサラウンドのままなので、何らかの方法で空間音声用のB-FORMATに変換する必要がある。

今回は、SENNHEISERのAMBEO VR Mic向けに配布されているプラグイン「AMBEO A-B format converter」を利用した。まずは下記リンクにアクセスして「DOWNLOAD」のセクションから自分の環境に合ったものをダウンロード〜インストールする。
https://en-us.sennheiser.com/microphone-3d-audio-ambeo-vr-mic
音声の置かれたトラック(一つだけの場合はマスターでも可)にインサートし、「OUTPUT FORMAT」を「ambix」に設定する。

Premiereで「アンビソニックスをモニター」をオンにすると、映像の向きに追従して音声も変化するのをモニターできる。


編集結果を書き出し時、オーディオのチャンネルを「4.0」にした上で「オーディオはアンビソニックスです」にチェックを入れておけば、YouTubeにアップするだけで空間音声と認識できるムービーファイルを出力できる。その結果が、記事冒頭に置いたサンプルビデオだ(サンプル中ではさらにいくつかのグラフィック要素を足してある)。

今回「空間音声専用のBGM」を作るにあたり発見したことや、作業上の便利なTips等はまた稿をあらためてご紹介しよう。