フェイスブックの研究者は、機械学習を使用して、Oculus QuestアプリにGPUの電力を67％増やす方法を見つけたようだ。ただし、フェイスブックは、これが「純粋に研究」であると報告している。
Oculus Questはスタンドアロンのヘッドセットだ。つまり、コンピューティングハードウェアはデバイス自体の中にある。サイズと消費電力の制約と、比較的手頃な価格でデバイスを販売したいという要望に沿って、 QuestはゲーミングPCよりもはるかに強力でないスマートフォンチップを使用している。
「次世代のVRおよびARエクスペリエンスを作成するには、高品質で低遅延のグラフィックスをレンダリングするための新しい、より効率的な方法を見つける必要がある」
新しい手法は、通常よりも低い解像度でレンダリングすることにより機能し、機械学習の「超解像度」アルゴリズムを使用して視野の中心が拡大される。これらのアルゴリズムはここ数年で人気を集めており、一部のWebサイトでは、ユーザーが自分のPCまたは携帯電話に任意の画像をアップロードしてAIでアップスケールできるようにしている。
十分なトレーニングデータがあれば、超解像度アルゴリズムは従来のアップスケーリングよりもはるかに詳細な出力を生成できる。ほんの数年前、「Zoom and Enhance」はコンピューターがこれを行うことができると誤って信じていた人々を笑うために使用されたミームだったが、機械学習はこのアイデアを実現した。もちろん、アルゴリズムは技術的には欠落しているディテールがどのように見えるかを予想し「幻覚化」するだけだが、多くの場合、実際的な違いはない。
論文の著者の1人は、フェイスブックのコアAR / VRテクノロジー部門のグラフィックヘッドであるBehnam Bastani氏だ。 2013年から2017年の間に、Bastani氏はグーグルで「高度なディスプレイシステム」を開発し、Daydreamのレンダリングパイプラインの開発を主導してきた。
この論文は、実際には主に超解像度アルゴリズムやそれを使用したGPUリソースの解放に関するものではないことに注意が必要だ。研究者の直接的な目標は、現在のレンダリングパイプライン内で（低レイテンシで）機械学習アルゴリズムをリアルタイムで実行するための「フレームワーク」を把握することだった。超解像度アップスケーリングは、本質的にこれが可能にすることの最初の例にすぎない。
これが論文の焦点であるため、「VRでの時間的に一貫した視覚的に楽しい結果」についての言及を除いて、アップスケールされた領域の正確なサイズや知覚性に関する詳細はあまりない。
研究者は、各方向で70％低い解像度でレンダリングすると、GPU時間を約40％節約でき、開発者は「これらのリソースを使用してより良いコンテンツを生成できる」と主張している。
メディアビューアーなどのアプリケーションの場合、Snapdragonチップ（および他のほとんどのチップ）では、DSP（このような機械学習タスクに使用される）はGPUよりもはるかに電力効率が高いため、保存されたGPU電力を未使用のままにしてバッテリー寿命を延ばすことができる。
ビートセイバーを使用してデモビデオを作成した。左の画像は「2倍の低解像度コンテンツに適用される高速超解像ネットワークを使用して生成されたもの」（右の画像は通常のフル解像度レンダリングだ）：
研究者はまた、彼らの調査結果が視線追跡機能を備えた将来のヘッドセットにどのように適用できるかを説明した。
「機械学習ベースの再構築のもう1つの利点は、視線追跡中心窩レンダリングシステムの遅延緩和と遅延ラッチングです。提案されたアーキテクチャでは、レンダリングシステムは目がどこを見ているかを知り、均一な低解像度でレンダリングする必要がありません。レンダリング後、視線追跡システムによって決定された中心窩領域は、機械学習モデルで再構築され、コンポジターの周辺領域とブレンドされます。このようにして、眼球運動から光子のレイテンシは、約1フレームの持続時間からML再構成時間のわずかな部分を差し引いて減らすことができます。このレイテンシの節約は、眼球追跡システムによってはサッカードのレイテンシアーティファクトを回避するために重要です 」
どうやら、GPUの電力を節約するために超解像度を使用することは、このレンダリングパイプラインフレームワークの潜在的なアプリケーションの1つにすぎない。
「フレームワークは、超解像度アプリケーションに加えて、ストリーミングコンテンツの圧縮アーチファクト除去、フレーム予測、機能分析、ガイド付き中心窩レンダリングのフィードバックの実行にも使用できます。モバイルグラフィックスパイプラインで計算手法と機械学習を有効にすると、次世代のモバイルグラフィックスに向けた多くの機会への扉が開かれると考えています」
この技術が消費者のOculus Questに展開される予定であるということは、この論文には示されていないし、それができなかい理由も明示されていない。ここには記載されていない技術的な障壁があるかもしれない。あるいは、次世代のヘッドセットまで複雑さの価値がないと考えられるかもしれない。
フェイスブックに詳細を問い合わせると、会社の代表者は、論文そのものを超えて共有するものは何もないと答え、「これは純粋に研究であり、機械学習、モバイルコンピューティンググラフィックス、VRの分野を前進させることを願っています」と答えた。 とにかく、機械学習が今後10年間でスタンドアロンVRをPC VRに近づける役割を果たし得ることは明らかだ。
元記事：UPLOAD VR
