従来のカメラは人間の視覚に基づいており、光の強さや色を捉えることに重点を置いているが、これには限界がある。また人間の視覚は直接の光の反射に依存するため、カメラの視野も直接見える範囲に限られる。 この研究では、RGBイメージングの限界を超えるために、光の偏光や光線の方向、飛行時間(time-of-flight)という3つの特性に焦点を当てている。偏光と光線の方向は、反射した表面の特性を明らかにし、光の飛行時間は物体が隠れている場所についての幾何学的な情報を提供する。これらの光の特性を利用することで、従来のカメラでは見えない情報を得ることできる。 具体的には、まず表面反射の偏光を利用して、物体のジオメトリ(形状)の推定、反射率の分離、照明の推定を行い、視覚的外見の正確な推定と編集を実現している。 次に、光沢のある物体の多視点画像上の反射を利用して、反射された3D環境を回復する方法を実現。これは