参考資料

参考資料

Olympia

質感やライティングがステキ。

参考資料

NVIDIA Marbles RTX

NVIDIAがMarbles RTXと呼ばれるシミュレーションとリアルタイムGPUレンダリングのデモ映像を公開しています。デモはプレイ可能なゲーム環境で、動的な照明と豊富な物理ベースのマテリアルでリアルタイムの物理を表示します。

MarblesはOmniverseのアーティストとエンジニアの分散チームによって作られ、VFX+の高品質なアセットを完全に物理的にシミュレートされたゲームレベルに組み立てています。リアルタイムで実行するための「ゲーム化」アートアセットから一般的に生じる品質と忠実性を犠牲にすることはありませんでした。

Marblesは単一のQuadro RTX 8000上で動作し、リアルタイムでレイトレースされた世界の複雑な物理をシミュレートします。

参考資料

REEL 2020

色使いが綺麗。

参考資料

MPC Film – Creating Scar – Characters of The Lion King

ライオンのリアルさ凄すぎ。

スカーを作るためにチームはまずコンセプトアートを参照することから始めました。

キャラクターのデザイン。モデリングチームは、このアートとライオンの写真を使用して、スカーの形と形を見つけました。モデリングプロセスの後、グルーミング、リギング、シェーディングは早い段階で始まりました。
ステージで、ファーとテクスチャを持つキャラクタを表示するレンダーテストと並行します。プロジェクトが進むにつれて、リアルタイムのバーチャル制作リグから筋肉やスキンの詳細なワークフローに至るまで、リギングツールはプロジェクトの進行に合わせて継続的に開発されました。

アニメーションとリギングのチームは協力して、以前のシステムを構築しました。スカーの繊細な顔のアニメーション、リアルなうなり声、しわが引っ込んだときに皮膚やファーに起こる現象まで、スカーのニュアンスに焦点が当てられました。彼の目とその周りの皮膚には非常に詳細な情報が与えられ、チームは獣医の専門家を招いて構造の特異性を学びました。
マッスルシミュレーションツールは、スカーのスケルトンとの接続性を高めるために開発されました。これにより、軟部組織とスケルトンを衝突させることができ、正しい解剖学的構造とボリュームを維持することができます。

スカーのファーを可能な限りリアルに見せるために、スタジオのファーシェーダーを一から書き直し、アーティストが使用するメラニンベースのカラーパレットを作成しました。グルーミングFXシミュレーションを開発し、風と雨の相互作用に対する現実的な効果を作成しました。

スカーのアニメーションでは、チームはプラネットアースからの何百時間にも及ぶリファレンスクリップ、ケニアでの撮影、アニマルキングダムで撮った映像を研究して、キャラクターのパフォーマンスの面で新しいレベルのディテールを達成しました。
スカーは完全にキーフレームアニメートし、完全に手作業で作成しました。人間の顔の筋肉はライオンの顔の筋肉とは非常に異なるため、スカーの顔のアニメーションは、ライオンのリアリズムを失うことなく感情を伝えるために多大な芸術的判断を必要としました。アニメーションプロセスは非常に時間がかかり、適切なレベルのパフォーマンスと信頼性を実現するために何度も繰り返す必要がありました。

参考資料

ディープラーニングを使用した線画の自動陰影付け「ShadeSketch」

ディープラーニングを使用した線画とライト方向からシェーディングを生成するサービス「ShadeSketch」。3D的なライティングを考慮してるのが面白いですね。
https://shinya7y.github.io/playground/shadesketch/
https://cal.cs.umbc.edu/Papers/Zheng-2020-Shade/

 

概要

線画スケッチと照明方向の対から詳細で正確なアーティスティックな陰影を生成する全自動法を示した。また、照明方向でタグ付けされた線画と影の対の1000例の新しいデータセットを提供した。
驚くべきことに生成された影は、スケッチされたシーンの基礎となる3D構造をすばやく伝達します。したがって、このアプローチによって生成されたシャドウは、直接使用することもアーティストにとって優れた出発点として使用することもできます。
提案した深層学習ネットワークは手書きスケッチを用い、潜在空間に3Dモデルを構築し、結果として生じる影をレンダリングすることを示した。生成された影は、手描きの線とその下にある3Dスペースを考慮し、セルフシャドウ効果などの洗練された正確なディテールを含んでいます。
さらに、生成されたシャドウには従来の3Dレンダリング方法で実現可能な、リムライティングやバックライトから現れるハロなどの芸術的な効果が含まれています。

 

立方体は、26のライティング方向を示しています。

ユーザは3桁の文字列でライトの位置を指定します。最初の桁はライティングの方向(1から8)に対応し、2番目はデプスプレーン(1~3)に対応し、3番目は特殊な方向である001(真ん前に)と002(背後に)を除いて0です。この結果、照明の方向は8*3+2=26になります。

ネットワークアーキテクチャ

ギャラリー

結果の例。このシステムは、バイナリシャドウとソフトシャドウを生成できます。

アーティスティックな制御

私たちの影と色を組み合わせる。

(a) 入力スケッチ
(b) 照明方向710の影
(c) 照明方向001,730,210からの影を合成した複雑な照明条件での影
(d) 照明方向001,210,220からドットとソフトシャドウを合成してマンガ風に仕上げた私たちの影
(e) 市販のソフトで着色したスケッチ
(f) (e)と(b)を合成したもの
(g) (e)と(c)を合成したもの
(h) 原画家のイメージ
©nico-opendata

 

バーチャル照明

芸術的な線画にシャドウイングシステムを適用した例。

26の個別の照明方向からの結果。