2次元画像から3次元形状を復元するには、立体物をボクセル（voxel）と呼ばれる3次元の体積要素に細分化し、各ボクセルについて立体物が占めているか空か、すなわち、立体の内側あるいは外側にあるかを判定する方法が採られる。

この判定には「畳み込みニューラルネットワーク（Convolutional Neural Network, CNN）」を活用しており、ネットワークは疑似的なCADモデルのデータセットを使ってトレーニングされている。3次元表示とCNNを使うことによりさまざまな種類の物体を学習できるという。

この手法の課題は計算量の多さだ。CNNはもともと計算量の多い手法だが、立体形状を復元する場合、解像度を上げようとすると計算量がその3乗で飛躍的に増加し実行不能に陥ってしまう。このため、使用するボクセルグリッドは、例えば32×32×32程度の粗いものに制限され、CNNを使った高品位の3次元復元は難しいとされてきた。

これに対し、UCバークレーの研究者たちは、計算量の問題を克服し高品位の3次元復元をするHierarchical Surface Prediction（HSP、階層型表面予測）という手法を提唱している。HSP法では、物体の表面は2次元であることに着目した処理をする。具体的には、ボクセルのクラスを「占有」、「空」の2値に「境界」を新たに加えた3値として、物体の表面を識別する。例えば、低解像度から表面を含むと判定された部分は256×256×256ボクセルの高解像度で予測し、他の部分は低解像度で予測する。

研究グループは、HSP法を使って予測した物体と32×32×32ボクセルの低解像度で予測する手法によるものとを比較し、HSP法はより正確に物体形状を予測でき、品質的にも特に表面の予測に優れていることを確認した。

これにより、研究グループは高品位3次元復元が実行可能であることが証明されたとしている。今後は、多視点ステレオにおける予測ベースの3次元復元手法の可能性について研究するという。