グーグルの研究者は、高帯域幅のインターネット接続でもストリーミングが可能な初のエンドツーエンド6DoFビデオシステムを開発した。UPLOAD VRが28日伝えた。
現在の360度動画では、異国情緒あふれる場所やイベントに行ったり、周りを見渡したりすることはできるが、実際に頭を前後に動かすことはできない。これにより、世界全体が頭に固定されているように感じられ、どこか別の場所にいるような体験を得るには至っていない。
グーグルの新しいシステムは、キャプチャ、再構成圧縮、レンダリングというビデオスタック全体をカプセル化しており、画期的な結果をもたらしている。
出所:UPLOAD VR
カメラリグには、毎秒30フレームで動作する46台の同期4Kカメラが搭載されている。各カメラは、「低コスト」のアクリルドームに取り付けられています。アクリルは半透明のため、ビューファインダーとしても使用できる。
使用されているカメラの小売価格は160ドルで、合計すると7000ドル弱になる。高いように感じるかもしれないが、特注品に比べれば低コストだ。6DoFビデオは、実用化され始めたばかりの新技術だ。
出所：UPLOAD VR
その結果、220度の「ライトフィールド」、幅は70cmで、頭を動かすことが可能だ。結果として得られる解像度は1度につき10ピクセルで、オリジナルのHTC Viveを除いて、最新のヘッドセットでは多少ぼやけて見えることになるだろう。すべての技術がそうであるように、これは時間の経過とともに改善されていくと思われる。
しかし、本当に印象的なのは圧縮とレンダリングだ。ライトフィールドビデオは、信頼性の高い300Mビット/秒のインターネット接続でストリーミングすることができる。これはまだ平均的なインターネット速度をはるかに超えているが、ほとんどの主要都市ではこのような帯域幅が提供されている。
どのように動作するのか
2019年、グーグルのAI研究者はDeepViewと呼ばれる機械学習アルゴリズムを開発した。同じシーンの4枚の画像をわずかに異なる視点から入力すると、DeepViewは深度マップを生成し、任意の視点から新しい画像を生成することが可能だ。
出所：UPLOAD VR
この新しい6DoF映像システムでは、DeepViewの改良版を使用している。シーンを2D平面で表現する代わりに、アルゴリズムは球状のシェルの集合体を使用する。新しいアルゴリズムでは、この出力を再処理して、より少ない数のシェルにしている。
出所：UPLOAD VR
最後に、これらの球状レイヤーは、より軽量な「レイヤードメッシュ」に変換され、テクスチャアトラスからサンプリングして、リソースをさらに節約する（これはゲームエンジンで使用されるテクニックで、異なるモデルのテクスチャが同じファイルに保存され、緊密にまとめられている）。
このプロジェクトのためのグーグルの公開ページでは、研究論文を読んだり、いくつかのサンプルをブラウザで試したりすることができる。
ライトフィールド動画はまだ初期段階の新興技術のため、YouTubeが近い将来ライトフィールド動画のサポートを開始するとは思わないほうがよい。しかし、VRコンテンツの聖杯の1つであるストリーミング可能な6DoF動画が、解決可能な問題であることは明らかになったようだ。この技術が研究から現実世界の製品へと移行し始めているため、今後も目が離せない。
