360 Reality Audio + 360 WalkMix Creator™ 〜全天球４πの世界をオブジェクトベースで描く〜

世界中で始まった実際の配信サービスインから早くも2年が経過、国内でのサービスインからも1年が経過した360 Reality Audioの世界。そしてその制作ツールとなる360 WalkMix Creator™がついに国内で販売開始される。その拡がりもついに第2段階へと突入した360 Reality Audio、360 WalkMix Creator™で実現する新機能のご紹介とともに、360 Reality Audioの現在地をご案内していく。

●全天球４πを実現する360 Reality Audio

本誌でも、その詳細を伝え続けているソニー 360 Reality Audio。完全な４π空間へのフルオブジェクト配置による立体音響フォーマットとして、その魅力は高いものであることはすでにおわかりではないだろうか。先行してスタートしているDolby Atmos、Auro 3Dは、ご存知のように「映画」をそのベーシックとして登場している。そのため、これまでの5.1chサラウンドを踏襲し、それを発展させる形で立体音響を実現している。これは、既存設備、映画館、劇場との互換性という観点から重要なポイントであり必要不可欠な要素だった。しかしソニー 360 Reality Audioは、映像とは切り離して考えられ、音楽を楽しむためのフォーマットとして登場している。そのため、これまでの立体音響が辿ってきた経緯とは関係ないところで、理想の音楽を入れるための器として誕生している。北半球とも呼ばれる上半分の2πだけのフォーマットではなく、下方向も含めた全天球４πを実現し、チャンネルベースを廃棄した完全なるオブジェクトベースのフォーマットだ。

Dolby Atmosなど他の立体音響フォーマットとの最大の違い、それは南半球があるということである。南半球に音を配置して効果はあるのか？下方向からの音、それに意味はあるのか？これは、今後様々な音源がリリースされ、その効果の程やクリエイターの考え、感覚により活用が行われていくものだろう。リフレクションを加えることで床を作る、低音楽器を下方向から鳴らすことで重心を下げる、様々なアイデアがありそうだが、まずは表現できる空間が単純に倍になったということは、歓迎すべき素晴らしいことではないだろうか。北半球のみの2π srに対し、全天球4π srは単純に倍の表面積であり、その表現できる範囲も倍であるということだ。これをどのように使いこなすのかという議論はまさにこれから行われていくこととなるだろう。

今までのステレオをヘッドホンで再生すると、頭の中に定位する「頭内定位」となる。言い換えれば右耳から左耳の間に音があるように感じるということだ。これをソニー 360 Reality Audioではヘッドホンで聴いているが、擬似的に頭の周りから音が鳴っているような感覚「頭外定位」を実現している。スピーカーで視聴するための準備が様々に進んできてはいるが、その体験を行う一番簡単な方法はやはりヘッドホンでの再生となる。いま音楽を楽しむ方法として一番シェアの高いヘッドホン/イヤホンでの視聴、それをターゲットにした音楽の体験、それがソニー 360 Reality Audioだ。

●チャンネルベースからの脱却、スピーカー配置の自由

チャンネルベースからの脱却というのも、360 Reality Audioの先進性の現れであると言えよう。冒頭でも述べたように、既存フォーマットとの下位互換性を考えることなく、純粋に次のステップへと歩みを進めた360 Reality Audio。これにより手に入れたのは、スピーカー配置の自由ということになる。クリエーター向け360 Reality Audio HPには、推奨環境としてこのようなスピーカー配置がのぞましいということが明記されている。ただ、これはあくまでもスピーカー配置の一例であり、その全てではない。360 Reality Audioの動作原理から言えば、スピーカーの配置位置、本数、そういった制約は無い。ただし、その音源の再現のために最低限これくらいの本数があったほうが確認を行いやすいという。また、360 WalkMix Creator™での制作時ではスピーカーの出力数を選択し、そのプリセットで選択された本数で再生を行うこととなる。

このスピーカーの配置の自由というのは、これから立体音響に向けてスタジオへスピーカーを増設しようとお考えの方には重要なポイントだろう。水平方向、天井は工夫によりなんとかなるケースが多いが、下方向に関しては、前方に3本（L,C,Rchの位置俯角-30度）設置が推奨されている。一般的に下方向のスピーカー設置となると、それらを遮るようにコンソールや作業用のデスクがあることが多いわけだが、これを左右90度の位置に俯角-30度で設置であれば、実際にレイアウトすることもかなり現実味があるのではないだろうか。

チャンネルベースのソースを持たない360 Reality Audioはフルオブジェクトであるため、スピーカーに対してのレンダリングアウトは自由である。そこにスピーカーがあるとわかるようなスピーカープリセットがあれば良いということになる。なお、スピーカー配置は自由だと書かせていただいたが一つだけ制約があり、それぞれのスピーカーは等距離に設置されている必要がある。ただし、これに関してはDelay調整により距離を仮想化することである程度解消できるものである。

●Dolby Atmos、360 Reality Audioコンパチブル

自由と言われると、実際どうして良いのか混乱を招く部分もあるかもしれない。360 Reality Audioに対応したスタジオのスピーカーアレンジの一例をご紹介するとなると、Dolby Atmosとの互換性を確保したシステムアップというのが一つの具体的な事例になる。

360 Reality Audioは前述の通り、スピーカー配置に関しては自由である。ということは、Dolby Atmosに準拠したスピーカーレイアウトを構築した上で、そこに不足する要素を追加すればよいということになる。具体的には、Dolby Atmosには無い南半球、下方向のスピーカーを増設すればよいということだ。360 Reality Audioの推奨としては、前方L,C,R(30度,0度,-30度)の位置に俯角-30度で設置となっているため、この3本を追加することでDolby Atmosと360 Reality Audioに対応したスタジオを構築できる。以前のスタジオ導入事例でご紹介したソニーPCLのスタジオがまさにこの方法での対応となっている。

📷デスクの前方にはスクリーンが張られており、L,C,Rのスピーカーはこのスクリーンの裏側に設置されている。スクリーンの足元にはボトムの3本のスピーカーが設置されているのがわかる。リスニングポイントに対して机と干渉しないギリギリの高さと角度での設置となっている。

前方下方の設置が難しい場合には、左右下方で対応することも一案である。下方、俯角のついた位置への設置は360 Reality Audioの音像をスピーカーで確認する際には必須の要素である。少なくとも左右へ2本がないと、パンニングの再現があまりにも大雑把になってしまうため、最低2本以上の設置と考えていただきたい。ただ、その設置に関しては前方L,R30度の位置が必須ということではない。この位置がなぜ推奨位置なのかは、後述するエンコードの解説を読んでいただければご理解いただけるだろう。スピーカー配置の自由、という360 Reality Audioの持つ美点は、これから先の進化の中で本当の意味で発揮されるものだからだ。

●エンコーダーを手に入れファイナルデータまで生成

360 Reatily Audio Creative Suiteとして登場した360 Reality Audioの制作ツールが、2022年2月に360 WalkMix Creator™へと名称を変更し、それと同時に大きな機能追加が行われた。360 Reatily Audio Creative Suite時代に作成できる最終のデータは、360 Reality Audioの配信用データであるMPEG-H 3D Audioに準拠した360 Reality Audio Music Formatではなかった。この360 Reality Audio Music Formatへの最終のエンコード作業は、別のアプリケーションで実施する必要があった。360 WalkMix Creator™では、ついに悲願とも言えるこのエンコード機能を手に入れ、360 WalkMix Creator™単体でのファイナルデータ生成までが行えるようになった。テキストで表現すると非常にシンプルではあるが、実作業上は大きな更新である。

これに続く、最後の1ピースはその360 Reality Audio Music Formatデータの再生用のアプリケーションだ。360 WalkMix Creator™の登場で、最終データを生成することはできるようになった。そのデータを確認するためにはArtist ConnectionにアップロードしてArtist Connectionのスマートフォンアプリで360 Reality Audioとして再生ができる。

📸 360 Reatily Audio制作のワークフローはこのような形になっている。パンニングの部分を360 WalkMix Creator™で行うということ以外は、従来のミキシングの手法と大きな違いはない。編集、プラグイン処理などは従来通り。その後の音を混ぜるというミキサーエンジン部分の機能を360 WalkMix Creator™が行うこととなる。ミキシングされたものはエンコードされ、配信用の音源として書き出される。リスナーが実際に視聴する際のバイノーラル処理は、リスナーの使用するプレイヤー側で行うこととなる。

●エンコードでサウンドの純度をどう保つか

では、改めて360 Reality Audioの配信マスターであるMPEG-H 3D Audioに準拠した360 Reality Audio Music Formatへのエンコードについて説明していきたい。360 WalkMix Creator™で扱うことができるオブジェクト数は最大128個である。エンコードにあたっては、10~24オブジェクトにプリレンダリングして圧縮を行うことになる。せっかく作ったオブジェクトをまとめるということに抵抗があるのも事実だが、配信という限られた帯域を使ってのサービスで使用されるということを考えると欠かすことができない必要な工程である。360 WalkMix Creator™では多くの調整項目を持ち、かなり細かくそのチューニングを行うことができる。マスターデータは非圧縮のまま手元に残すことはできるので、いつの日か非圧縮のピュアなサウンドを360 Reatily Audioのエンドユーザーへ提供できる日が来るまで大切に保管しておいてもらいたい。

360 Reality Audio Music Formatへのエンコードを行うにあたり10~24オブジェクトへプリレンダリングして圧縮を行うということだが、その部分を更に詳しく説明していこう。実際には、配信事業者の持つ帯域幅に合わせて4つのレベルでのエンコードを行うこととなる。プリレンダリングはStatic ObjectとDynamic Objectの設定をすることで実行できる。Static Objectはその言葉の通り、固定されたオブジェクトである。この際に選択できるStatic Object Configurationは複数種類が用意されており、ミキシングにおけるパンニングの配置に合わせて最適なものを選択することができるようになっている。デフォルトでは、4.4.2 Static Objectで10オブジェクトを使用し、各Levelの最大オブジェクト数まではDynamic Objectに設定できる。Dynamic Objectはそのトラックを単独のObjectとして書き出すことで、360 WalkMix Creator™上でミキシングしたデータそのままとなり、Static Objectは360 WalkMix Creator™にプリセットされている様々なStatic Object Configurationに合わせてレンダリングアウトが書き出される。

📸 エンコードの際には、こちらの画面のように6種類のデータが書き出される。Level 0.5~3までは本文で解説をしているのでそちらをご参照いただきたい。それ以外の項目となるプリレンダリングは360 Reality Audio Music Formatへエンコードする直前の.wavのデータ、要は非圧縮状態で書き出されたものとなる。選択スピーカー別出力は、モニターするために選択しているスピーカーフォーマットに合わせた.wavファイルの書き出し。例えば、5.5.3のスピーカー配置で視聴しているのであれば、13chの.wavファイルとして各スピーカーに合わせてレンダリングされたものが出力される。

Static Object Configurationのプリセットはかなりの種類が用意されている。前方へ集中的に音を集めているのであれば5.3.2、空間全体に音を配置しているのであれば4.4.2、推奨の制作スピーカーセットを再現するのであれば5.5.3など実音源が多い部分にStatic Object が来るように選択する。いたずらにオブジェクト数の多いものを選択するとDynamic Objectに割り振ることができるオブジェクト数を減らしてしまうので、ここはまさにトレードオフの関係性である。もちろん、オブジェクト数の多いStatic Objectのプリセットを選択することで空間の再現性は向上する。しかし、単独オブジェクトとして存在感高く再生が可能なDynamic Object数が減ってしまうということになる。基本的に音圧の高い、重要なトラックをDynamic Objectとして書き出すことが推奨されている。具体的には、ボーカルなどのメロディーがそれにあたる。それ以外にも特徴的なパンニングオートメーションが書かれているトラックなどもDynamic Objectにすることで効果がより良く残せる。Static Objectに落とし込まずに単独のトラックのままで存在することができるためにそのサウンドの純度が保たれることとなる。

ミキシングをおこなったトラックごとにStaticとするのか、Dynamicとするのかを選択することができる。このStatic/Dynamicの選択、そしてStatic Object Configurationのプリセットの選択が、エンコード作業の肝となる。この選択により出来上がった360 Reality Audio Music Formatのデータはかなり変化する。いかに360 WalkMix Creator™でミックスしたニュアンスを余すことなくエンコードするか、なににフォーカスをするのか、空間をどのように残すのか。まさに制作意図を反映するための判断が必要な部分となる。

●Static Object Configuration設定一覧

---

これら掲載した画面が360 WalkMix Creator™で選択できるStatic Object Configurationのプリセット一覧となる。プリセットされたレンダリングアウトの位置は、できる限り共通化されていることもこのように一覧すれば見て取ることができるだろう。基本はITU準拠の5.1ch配置からの拡張であり、Dolby Atmosを意識したような配置、AURO 3Dを意識したような配置もあることがわかる。5chサラウンドの拡張の系統とは別に、開き角45度のグループもあり、スピーカー間が90度で等間隔になる最低限の本数で最大の効果が得られるような配置のものも用意されている。
 
下方向をどれくらい使っているのか？上空は？そういった観点から適切なプリセットを選ぶことで再現性を担保し、重要なトラックに関してはDynamic Objectとして独立させる。Static Objectを多くすればその分全体の再現性は上がるが、使えるDynamic Objectのオブジェクト数が減ってしまう。これは難しい判断を強いられる部分ではあるが、トレードオフの関係となるためあらかじめ念頭に置いておくべきだろう。この仕組みを理解して作業にあたることで、よりよい状態の信号を360 Reality Audio Music Formatファイルで書き出すことが可能となる。

Dolby Atmosとの互換性

昨年の空間オーディオのサービスインから、注目を集めているDolby Atmos Music。そのフォーマットで制作した音源と360 Reality Audioの互換性は？やはりイチから作り直さなければならないのか？制作者にとって大きなハードルになっているのではないだろうか。フォーマットが増えたことにより作業量が倍増してしまうのでは、なかなか現場としては受け入れがたいものがあるのも事実。実際のところとしては、Dolby Atmosで制作した音源をRenderingしたWAVファイルを360 WalkMix Creator™でそのチャンネルベースの位置に配置することで再現することが可能である。その際にできる限り多くのスピーカーを使用したWAVをDolby Atmos Redererから書き出すことでその再現性を高めることも可能だ。なお、逆パターンの360 Reality AudioからDolby Atmosの場合には、南半球の取り扱いがあるためそのままというわけにはいかない。どうしても行き先のないトラックが出てきてしまうためである。

📸 360 WalkMix Creator™上でDolby Atmosを展開する一例がこちら。Dolby Atmosから7.1.4のレンダリングアウトを.wavで出力し、360 WalkMix Creator™内に配置したしたという想定だ。さらにチャンネル数を増やすことも可能（Atmos Rendererの最大レンダリング出力は11.1.10）だが、今回はわかりやすくベーシックなものとしている。ここでの問題はLFE chだ。 360 Reatily AudioにはLFEが存在しないため、少し下方向から再生することで効果的に使用することができるのではないか。LFEに関しては特に決まりはないため耳で聴いてちょうどよいバランスに合わせる必要がある。

Dolby Atmos Redererからは、最大11.1.10chの書き出しが可能である。360 Reality AudioにはLFE chが用意されていないため、ここの互換性に注意すれば、南半球は無いがかなり高いレベルでの互換を取れた状態が確保されていると言えるだろう。360 WalkMix Creator™に11.10.0というStatic Objectのプリセットがあれば完璧なのだが、次のアップデートでの実装に期待したいところである。また、Rendering Outを行う際にVocalなどDynamic Objectにアサインしたいものだけを省いておくことでDynamic Objectも活用することができる。もちろん、ワンボタンでという手軽さではないが、イチからミックスをやり直すことなく同等の互換性を確保することが可能なところまできている。

日進月歩の進化を見せる360 Reality Audioの制作環境。制作のための全てのコンポーネントがもうじき出揃うはずである。そして、制作物をユーザーへデリバリーする方法も整ってきている。双璧をなすDolby Atmosとの互換性など制作のノウハウ、実績も日々積み上げられていっているところだ。まさにイマーシブ・オーディオ制作は第2フェーズへと歩みを進めている。ぜひともこの新しい世界へと挑戦してもらいたい。

360 WalkMix Creator™ ¥64,900（税込）
ソニー 360 Reality Audioを制作するためのツールがこの「360 WalkMix Creator™」。AAXはもちろん、VST / AUにも対応しているため、ホストDAWを選ばずに360 Reality Audioのミキシングを行うことができる。

製品購入ページ（RockoN eStore）
製品紹介ページ
クリエーター向け 360 Reality Audio HP

＊ProceedMagazine2022号より転載

【どう違う?】 Doby Atmos Musicと 360 Reality Audioの4つの違い