研究チームが開発したAIは、「微分可能な内挿ベースのレンダラー（differentiable interpolation-based renderer）」、略して「DIB-R」と呼ばれるものだ。DIB-Rは、エンコーダデコーダアーキテクチャを利用して、2D画像から物体の形や色、質感やライティングといった3Dプロパティを予測し、忠実度の高いレンダリングを作成する。

例えば、あらかじめ鳥のデータセットで学習しておけば、1枚の鳥の2D画像からでも実際の鳥の質感と形状を再現した3Dモデルが得られる。動作も速く、100ミリ秒以内で2Dから3Dへ変換できるという。

DIB-Rは3Dモデルの生成だけでなく、ロボット工学においても有効だ。自律型ロボットにとっては、周辺のものを検知し認識することが重要だが、DIB-Rを利用することで、奥行き方向の認知機能を改善できるとしている。

（fabcross for エンジニアより転載）