2020年09月30日

グーグル、インターネット上で6DoFビデオをストリーミングするシステム開発

グーグルの研究者は、高帯域幅のインターネット接続でもストリーミングが可能な初のエンドツーエンド6DoFビデオシステムを開発した。UPLOAD VRが28日伝えた

現在の360度動画では、異国情緒あふれる場所やイベントに行ったり、周りを見渡したりすることはできるが、実際に頭を前後に動かすことはできない。これにより、世界全体が頭に固定されているように感じられ、どこか別の場所にいるような体験を得るには至っていない。

グーグルの新しいシステムは、キャプチャ、再構成圧縮、レンダリングというビデオスタック全体をカプセル化しており、画期的な結果をもたらしている。

出所:UPLOAD VR

カメラリグには、毎秒30フレームで動作する46台の同期4Kカメラが搭載されている。各カメラは、「低コスト」のアクリルドームに取り付けられています。アクリルは半透明のため、ビューファインダーとしても使用できる。

使用されているカメラの小売価格は160ドルで、合計すると7000ドル弱になる。高いように感じるかもしれないが、特注品に比べれば低コストだ。6DoFビデオは、実用化され始めたばかりの新技術だ。

出所:UPLOAD VR

その結果、220度の「ライトフィールド」、幅は70cmで、頭を動かすことが可能だ。結果として得られる解像度は1度につき10ピクセルで、オリジナルのHTC Viveを除いて、最新のヘッドセットでは多少ぼやけて見えることになるだろう。すべての技術がそうであるように、これは時間の経過とともに改善されていくと思われる。

しかし、本当に印象的なのは圧縮とレンダリングだ。ライトフィールドビデオは、信頼性の高い300Mビット/秒のインターネット接続でストリーミングすることができる。これはまだ平均的なインターネット速度をはるかに超えているが、ほとんどの主要都市ではこのような帯域幅が提供されている。

どのように動作するのか
2019年、グーグルのAI研究者はDeepViewと呼ばれる機械学習アルゴリズムを開発した。同じシーンの4枚の画像をわずかに異なる視点から入力すると、DeepViewは深度マップを生成し、任意の視点から新しい画像を生成することが可能だ。

出所:UPLOAD VR

この新しい6DoF映像システムでは、DeepViewの改良版を使用している。シーンを2D平面で表現する代わりに、アルゴリズムは球状のシェルの集合体を使用する。新しいアルゴリズムでは、この出力を再処理して、より少ない数のシェルにしている。

出所:UPLOAD VR

最後に、これらの球状レイヤーは、より軽量な「レイヤードメッシュ」に変換され、テクスチャアトラスからサンプリングして、リソースをさらに節約する(これはゲームエンジンで使用されるテクニックで、異なるモデルのテクスチャが同じファイルに保存され、緊密にまとめられている)。

このプロジェクトのためのグーグルの公開ページでは、研究論文を読んだり、いくつかのサンプルをブラウザで試したりすることができる。

ライトフィールド動画はまだ初期段階の新興技術のため、YouTubeが近い将来ライトフィールド動画のサポートを開始するとは思わないほうがよい。しかし、VRコンテンツの聖杯の1つであるストリーミング可能な6DoF動画が、解決可能な問題であることは明らかになったようだ。この技術が研究から現実世界の製品へと移行し始めているため、今後も目が離せない。

シェアする
Marie Okamoto

東南アジアで記者経験をした後、日本に帰国。現在はTheDiceのコンテンツプロデューサーとして、海外のニュースを中心に配信。