新しいものづくりがわかるメディア

RSS


スマホ上でリアルタイムに3Dホログラムを——MIT、深層学習を活用した新技術を発表

Image: MIT News, with images from iStockphoto

マサチューセッツ工科大学(MIT)の研究チームは、リアルタイムに3Dホログラムを生成する「テンソルホログラフィ」を開発した。深層学習をベースにした省メモリ技術のため、ノートPCやスマートフォンでも即時に実行できる。VR/AR、3Dプリンター、医療分野での活用が期待される。研究結果は、2021年3月10日付けの『Nature』に掲載されている。

1900年代中旬に発明された初期のホログラムは、独特の奥行き感を持つが、動きを捕らえられない。その後、計算機合成ホログラフィ(CGH)が登場したが、物理シミュレーションに莫大なコストと時間がかかるうえ、オクルージョン(前方の物体が後方の物体を隠すこと)の再現が難しく、自然な奥行き感を表現できていない。

そのため、「ホログラフィックディスプレイの商品化は10年以内」と言われ続けてきたにも関わらず、既存のディスプレイに置き換わる主力デバイスには至っていない。民生グレードのハードウェアでは、リアルタイム3Dホログラフィの再生は不可能だとも考えられてきた。

研究チームは、人間が視覚情報を処理する方法を模倣するため、トレーニング可能なテンソルを使った畳み込みニューラルネットワークを設計した。また、これまで3Dホログラム用の大規模で高品質のデータセットは無かったため、チームは写実的なトレーニングデータとなる4000組のデータセットを作製した。それぞれ、色と奥行きのピクセル情報を持つ画像とそれに対応するホログラムが対になっている。

テンソルネットワークは、各画像ペアから学習することで自らの計算パラメータを微調整し、ホログラム生成能力を強化していった。十分に最適化されたネットワークは、物理ベースの計算と比べて桁違いの速さで動作した。

「その性能の素晴らしさに驚いた」と、研究を指導したWojciech Matusik教授は語る。この技術では民生グレードのGPUを使い、わずか数ミリ秒の間に1MB以下のメモリ使用量で、色と奥行き情報を持った画像から3Dホログラムを生成できる。また、内蔵AIアクセラレーションチップを活用することで、スマートフォン(iPhohe 11)やエッジデバイス(Google Edge TPU)でもインタラクティブに動作できるとしている。

リアルタイムで自然な奥行き感を表現できることから、適用範囲は広いと考えられる。VRヘッドセットに搭載すれば、眼精疲労や不快感を抑えつつ、より没入感の高い体験を提供できるだろう。研究チームはその他、位相変調ディスプレイ、体積型(ボリュメトリック)3Dプリンター、ホログラフィック顕微鏡への応用も提案している。

fabcross for エンジニアより転載)

関連情報

おすすめ記事

 

コメント

今人気の記事はこちら

  1. 8mmフィルムカメラをRaspberry Piで復活——デジタルカートリッジ「Super 8 Camera Digital Conversion」
  2. まるで車輪付きの2階建てビル——世界最大の「Hummer H1」がUAEの博物館に収蔵
  3. 目を閉じても見える——網膜にARを投影するスマートコンタクトレンズを開発
  4. リニア式電源、ラズパイ対応の高音質ミュージックサーバー「MS-100」を発売
  5. タイピングした文字を手書きしてくれるロボット「PlottyBot」——Raspberry Piで製作
  6. ラズパイとの違いは? 初心者向けArduinoの使い方とオススメキット
  7. ラズパイで放射線量を記録——ソーラーパネル搭載のガイガーカウンターDIYキット「RadSense」
  8. Raspberry PiによるPCデータレコーダーのエミュレータ「Raspberry Pi用ピーガーMODEM 【初回版】」発売
  9. 理科の授業に必要な計測/制御などを1台で——USBを挿すだけで使える道具箱「AkaDako STEAM BOX プロトタイプ」
  10. フィルムカメラをデジタル化——Raspberry Piを使った「Digital Film Cartridge for Analog Cameras」

ニュース

編集部のおすすめ

連載・シリーズ

注目のキーワード

もっと見る