東京大学の石川渡辺研究室は、Tシャツみたいに動かすと複雑に変形する物体︵非剛体︶へ追跡しながらカラー映像を投影する新たなダイナミックプロジェクションマッピングを発表しました。
映像でもわかるように、激しく動作しても上半身の服にぴったり張り付いているようにカラー映像が投影されているのが確認できます。これは、新型の高速プロジェクタ﹁DynaFlash v2︵3-LED＋1-DMD︶﹂と、10台のカメラを駆使したトラッキングシステムを組み合わせて実現します。
新型の高速プロジェクタDynaFlash v2は、同研究室が過去に発表している1,000fps遅延3msで投影するモノクロ高速プロジェクタ﹁DynaFlash﹂のアップグレード版であり、947fpsで8bitのカラー映像を切り替えることができます。
そして、追跡にも強力なトラッキングシステムを開発します。同研究室は、過去にも人に見えないマーカを対象物へ印字し、マーカの動きを高速カメラでトラッキングするアプローチ︵Deformable Dot Cluster Marker︶を提案しており、高速プロジェクタと組み合わせた変形する非剛体曲面へのダイナミックプロジェクションマッピングも発表しています。
今回は、さらに強力版とも言える10台のカメラを用いることで高速かつ広範囲で非剛体変形を3次元で認識します。
これら新型の高速プロジェクタと新たなトラッキングシステムを連携することで、複雑に変形する物体に対して、その物体が激しく変形しても追従し投影することができ、加えて、対象表面の3次元的な構造や動きに応じて、投影像を適応的にコントロールすることで、現実とは異なる素材の光沢や凹凸を自在に再現させることを可能にします。
映像でもわかるように、激しく動作しても上半身の服にぴったり張り付いているようにカラー映像が投影されているのが確認できます。これは、新型の高速プロジェクタ﹁DynaFlash v2︵3-LED＋1-DMD︶﹂と、10台のカメラを駆使したトラッキングシステムを組み合わせて実現します。
新型の高速プロジェクタDynaFlash v2は、同研究室が過去に発表している1,000fps遅延3msで投影するモノクロ高速プロジェクタ﹁DynaFlash﹂のアップグレード版であり、947fpsで8bitのカラー映像を切り替えることができます。
そして、追跡にも強力なトラッキングシステムを開発します。同研究室は、過去にも人に見えないマーカを対象物へ印字し、マーカの動きを高速カメラでトラッキングするアプローチ︵Deformable Dot Cluster Marker︶を提案しており、高速プロジェクタと組み合わせた変形する非剛体曲面へのダイナミックプロジェクションマッピングも発表しています。
今回は、さらに強力版とも言える10台のカメラを用いることで高速かつ広範囲で非剛体変形を3次元で認識します。
これら新型の高速プロジェクタと新たなトラッキングシステムを連携することで、複雑に変形する物体に対して、その物体が激しく変形しても追従し投影することができ、加えて、対象表面の3次元的な構造や動きに応じて、投影像を適応的にコントロールすることで、現実とは異なる素材の光沢や凹凸を自在に再現させることを可能にします。
関連
東京大学、「完璧なダイナミックプロジェクションマッピング」を近い将来実現する事を発表。動く物体に貼り付いてるかのように投影する技術をアップデートする | Seamless