N響「第9」、最先端イマーシブ配信の饗宴。〜NHKテクノロジーズ MPEG-H 3D Audio 22.2ch音響 / NeSTREAM LIVE / KORG Live Extreme〜

年末も差し迫る2023年12月26日に行われた、NHKホールでのNHK交響楽団によるベートーヴェン交響曲第9番「合唱つき」のチャリティーコンサート。 その年の最後を飾る華やかなコンサートと同時に、NHKテクノロジーズ(NT)が主催する次世代を担うコンテンツ配信技術のテストだ。次世代のイマーシブ配信はどのようになるのか、同一のコンテンツをリアルタイムに比較するという貴重な機会である。その模様、そしてどのようなシステムアップが行われたのか、壮大なスケールで行われた実験の詳細をレポートする。

●取材協力
・株式会社NHKテクノロジーズ
・株式会社クープ NeSTREAM LIVE
・株式会社コルグ Live Extreme

まずは、この日に行われたテストの全容からお伝えしたい。イマーシブフォーマット・オーディオのリアルタイム配信実験と言ってもただの実験ではない、3種類のフォーマットと圧縮方式の異なるシステムが使われ、それらを比較するということが行われた。1つ目は、次世代の放送規格としての8K MPEG-H（HEVC＋22.2ch音響MPEG-H 3D Audio ＊BaselineProfile level4）の配信テスト。2つ目がNeSTREAM LIVEを使った、4K HDR（Dolby Vision）+ Dolby Atmos 5.1.4ch@48kHzの配信テスト。3つ目がKORG Live Extremeを使った、4K + AURO-3D 5.1.4ch@96kHzの配信テストだ。さらに、NeSTREAM LIVEでは、HDR伝送の実験も併せて行われた。イマーシブフォーマットのライブストリーム配信というだけでも興味深いところなのだが、次世代の技術をにらみ、技術的に現実のものとして登場してきている複数を比較するという取り組みを目にすることができるのは大変貴重な機会だと言える。

全体のシステムを紹介する前に、それぞれのコーデックや同時配信されたフォーマットなどを確認しておきたい。22.2chは、次世代地上デジタル放送での採用も決まったMPEG-H 3D Audioでの試験、NeSTREAM LIVEは、NetflixなどストリーミングサービスでのDolby Atmos配信と同一の技術となるDolby Digital Plusでの配信、KORG Live ExtremeはAURO-3Dの圧縮技術を使った配信となっている。圧縮率はNeSTREAM LiveのDolby Digital Plusが640kbps、次にMPEG-Hの22.2chで1chあたり80kbps。Live Extremeは10Mbps程度となっている。

映像についても触れておこう。22.2chと組み合わされるのは、もちろん8K HEVCの映像、NeSTREAM LIVEは同社初のチャレンジとして4K Dolby Visonコーデックによる4K HDR映像の配信テストが合わせて行われた。KORG Live Extremeは、4Kの動画となっている。次世代フォーマットであるということを考えると当たり前のことかもしれないが、各社イマーシブと組み合わせる音声として4K以上の動画を準備している。KORG Live Extremeでは、HPLコーデックによる2chバイノーラルの伝送実験も行われた。イマーシブの視聴環境がないという想定では、このようなサブチャンネルでのバイノーラル配信というのは必要なファクターである。ちなみに、Dolby Atmosであれば再生アプリ側でバイノーラルを作ることができるためこの部分に関しては大きな問題とならない。

📷仮設でのシステム構築のため、長距離の伝送を絡めた大規模なシステムアップとなっている。DanteのFiber伝送、Riedel MediorNet、OTARI LightWinderが各種適材適所で使われている。また、できるかぎり信号の共有を図り、チャンネル数の多いイマーシブサウンド3種類をうまく伝送し、最終の配信ステーションへと送り込んでいるのがわかる。実際のミックスは、22.2chのバランスを基本にそこからダウンコンバート（一部チャンネルカット）を行った信号が使われた。

それでは、テストのために組み上げられた当日のシステムアップを紹介したい。NHKホールでのNHK交響楽団によるベートーヴェン交響曲第9番「合唱つき」のチャリティーコンサートは、ご存知の通り年末の恒例番組として収録が行われオンエアされている。その本番収録のシステムとは別に今回のテスト配信のシステムが組まれた。マイクセッティングについても、通常収録用とは別に会場のイマーシブ収録のためのマイクが天井へ多数準備された。ステージ上空には、メインの3点吊り（デッカベースの5ポイントマイク）以外にもワイドに左右2本ずつ。客席上空には22.2chの高さ2層のレイヤーを意識したグリッド上の17本のマイクが吊られていた。

マイクの回線はホール既設の音響回線を経由して、ホール内に仮設されたT-2音声中継車のステージボックスに集約される。ここでDanteに変換されたマイクの音声は、NHKホール脇に駐車されたT-2音声中継車へと送られ、ここでミックスが作られる。この中継車にはSSL System Tが載せられているおり、中継車内で22.2ch、Dolby Atmos準拠の5.1.4chのミックスが制作され出力される。ここまでは、KORG Live Extremeが96kHzでのテストを行うこともあり、96kHzでのシステム運用となっている。

22.2chと5.1.4ch@48kHzの出力は、MADIを介しRIEDEL MediorNetへ渡され、配信用のテスト機材が設置されたNHKホールの配信基地へと送られる。もう一つの5.1.4ch@96kHzの回線はOTARI Lightwinderが使われ、こちらもNHKホールの配信基地へと送られる。ホールの内外をつなぐ長距離伝送部分は、ホールから中継車までがDante。中継車からホールへの戻りは、MediorNetとLightwinderというシステムだ。それぞれネットワークケーブル（距離の関係からオプティカルケーブルである）でのマルチチャンネル伝送となっている。

ホールの配信基地には22.2ch@MPEG-H、NeSTREAM LIVE、Live Extremeそれぞれの配信用のシステムがずらりと設置されている。ここでそれぞれのエンコードが行われ、インターネット回線へと送り出される。ここで、NeSTREAM LIVEだけは4K HDRの伝送実験を行うために、AJA FS-HDRによる映像信号のHDR化の処理が行われている。会場収録用のカメラは8Kカメラが使われていたが、SDRで出力されたためHDR映像へとコンバートが行われ、万全を期すためにカラリストがその映像の調整を行っていた。機械任せでSDRからHDRの変換を行うだけでは賄えない部分をしっかりと補正、さすが検証用とはいえども万全を期すプロフェッショナルの仕事である。

このようにエンコードされ、インターネットへと送出されたそれぞれのコーデックによる配信は、渋谷ではNHK放送センターの至近にあるNHKテクノロジーズ 本社で受信して視聴が行われるということになる。そのほか渋谷以外でも国内では広島県東広島芸術文化ホールくらら、海外ではドイツでの視聴が行われた。我々取材班は渋谷での視聴に立会いさせていただいたが、他会場でも問題なく受信が行えていたと聞いている。

実際に配信された3種類を聴いてみると、それぞれのメリットが際立つ結果となった。イマーシブというフォーマットの臨場感、このポイントに関してはやはりチャンネル数が多い22.2chのフォーマットが圧倒的。密度の濃い空間再現は、やはりチャンネル数の多さに依るところが大きいということを実感する。今回の実験では、ミキシングの都合からDolby Atmos準拠の5.1.4 chでの伝送となった他の2種の倍以上のチャンネル数があるのだから、この結果も抱いていたイメージ通りと言えるだろう。もう一つは、圧縮率によるクオリティーの差異。今回はKORG Live Extremeが96kHzでの伝送となったが、やはり低圧縮であることの優位性が配信を通じても感じられる。NeSTREAM LIVEについては、現実的な帯域幅で必要十分なイマーシブ体験を伝送できる、現在のテクノロジーレベルに一番合致したものであるということも実感した。その中でDolby Visionと組み合わせた4K HDR体験は、映像のクオリティーの高さとともに、音声がイマーシブであることの意味を改めて感じるところ。Dolby Vision HDRによる広色域は、映像をより自然なものとして届けることができる。それと組み合わさるイマーシブ音声はより一層の魅力を持ったものとなっていた。

前述もしているが、それぞれの配信におけるオーディオコーデックの圧縮率は、NeSTREAM LIVEのDolby Digital Plusが640kbps、次にMPEG-Hの22.2chが1chあたり80kbps。Live Extremeは10Mbps程度となっている。このように実際の数字にしてみると、NeSTREAM LIVEの圧縮率の高さが際立つ。640kbpsに映像を加えてと考えると、現時点ではこれが一番現実的な帯域幅であることは間違いない。

ちなみに、YouTubeの執筆時点での標準オーディオコーデックはAAC-LC 320kbpsである。言い換えれば、NeSTREAM LIVEはこの倍の帯域でDolby Atmosを配信できるということである。KORG Live Extremeにおける96kHzのクオリティーは確かに素晴らしかった、しかし10Mbpsという帯域を考えると多数へ行なわれる配信の性格上、汎用的とは言い難い一面も否めない。しかしながらプレミアムな体験を限定数に、というようなケースなど活用の可能性には充分な余地がある。22.2chのチャンネル数による圧倒的な体験はやはり他の追従を許さない。8K映像と合わせてどこまで現実的な送信帯域にまで圧縮できるかが今後の課題だろう。22.2ch音響を伝送したMPEG-H 3D Audioは任意のスピーカーレイアウトやバイノーラル音声に視聴者側で選択し視聴することができる。22.2ch音響の臨場感を保ったまま、視聴者の様々な環境で視聴することが可能となる。AVアンプやサウンドバー、アプリケーションなどの普及に期待したい。

このような貴重な実験の場を取材させていただけたことにまずは感謝申し上げたい。取材ということではあったが、各種フォーマットを同時に比較できるということは非常に大きな体験であり、他では得ることのできない大きな知見となった。伝送帯域やフォーマット、コーデックによる違い、それらを同一のコンテンツで、最新のライブ配信の現場で体験することができるというのは唯一無二のこと。これらの次世代に向けた配信が今後さらに発展し、様々なコンテンツに活用されていくことを切に願うところである。

＊ProceedMagazine2024号より転載