カメラ、照明、背景が異なるオンライン画像から、3Dオブジェクトを作成する技術が発表されています。
https://formyfamily.github.io/NeROIC/
概要
カメラ、照明、背景が異なる写真から任意の物体の高品質な形状と材料特性を取得し、オンライン画像コレクションから物体表現を取得する新しい方法を提案する。これにより、ノベルビュー合成、再照明、調和的な背景合成など、様々なオブジェクト中心のレンダリングアプリケーションを、困難な実環境の入力から実現することができる。
ニューラルラジアンスフィールドを拡張した多段アプローチにより、まず表面形状を推定し、粗く推定された初期カメラパラメータを改良し、粗い前景オブジェクトマスクを活用して学習効率と形状品質を向上させる。また、ロバストな法線推定技術を導入し、重要なディテールを保持しつつ、幾何学的ノイズの影響を排除する。最後に、表面の材料特性と環境照明を抽出し、球面調和で表現し、鋭い影などの過渡的な要素を処理する拡張を行う。これらのコンポーネントを組み合わせることで、高度にモジュール化された効率的なオブジェクト取得フレームワークが実現する。
広範な評価と比較により、レンダリングアプリケーションに有用な高品質のジオメトリと外観特性を取得する上で、我々のアプローチの優位性が実証されている。
オーバービュー
異なる条件の物体画像を入力とし、2段階のモデルを構築する。まず、他の手法で取得した画像のカメラポーズと物体の前景マスクを用いて、NeRFベースのネットワークを学習させることにより、スキャンした物体の形状を最適化し、カメラポーズを改良する。次に、法線抽出層を用いて、形状（密度関数で表現）から表面法線を計算し、最後に、第2段階のモデルにより、各画像について物体の材料特性を分解して照明条件について解決する。
新しいビューの合成
共通のオブジェクトのオンライン画像があれば、学習画像の照明条件を用いて、オブジェクトの新しいビューを合成することができます。
マテリアル分解
また、キャプチャしたオブジェクトの材料特性（アルベド、スペキュラリティ、ラフネスマップを含む）および表面法線を解くことができます。
リライティング
モデルから生成されたマテリアルプロパティとジオメトリを使用して、さらに新しい照明環境でオブジェクトをレンダリングすることができます。
