スゲー

参考資料

NVIDIA Marbles RTX

NVIDIAがMarbles RTXと呼ばれるシミュレーションとリアルタイムGPUレンダリングのデモ映像を公開しています。デモはプレイ可能なゲーム環境で、動的な照明と豊富な物理ベースのマテリアルでリアルタイムの物理を表示します。

MarblesはOmniverseのアーティストとエンジニアの分散チームによって作られ、VFX+の高品質なアセットを完全に物理的にシミュレートされたゲームレベルに組み立てています。リアルタイムで実行するための「ゲーム化」アートアセットから一般的に生じる品質と忠実性を犠牲にすることはありませんでした。

Marblesは単一のQuadro RTX 8000上で動作し、リアルタイムでレイトレースされた世界の複雑な物理をシミュレートします。

CG News

Unreal Engine 5 初公開

Epic GamesはPlayStation 5でライブで実行されている次世代のUnreal Engine 5のリアルタイムデモの映像を公開しました。驚くようなグラフィックですね。
https://www.unrealengine.com/ja/blog/a-first-look-at-unreal-engine-5?lang=ja
https://www.fxguide.com/fxfeatured/ue5-first-look/

Lumen in the Land of Naniteデモ

デモはゲームのようですが、実際のゲームやプロトタイプではありません。 UE5の機能を示すためだけに特別に作成されました。Epicチームはまるで新しいゲームの一部であるかのように、完全にインタラクティブに体験できる短い作品を作ることにしました。数多くのチームとテクノロジーが集まり、表示品質を飛躍的に向上させました。

「すべてが動的なので、どのオブジェクトでも移動できます。そのすべてが完全に動的なGIと兵士の各像だけでも、3,000万を超える三角形です」とLibreriは指摘します。Naniteジオメトリテクノロジーを示す大きなシーンは、Quixel Megascansライブラリを多用しました。Quixelは現在Epicの一部であり、最大で数億のポリゴンを持つフィルム品質のオブジェクトを提供します。

 

Nanite

Naniteは仮想化されたマイクロポリゴンジオメトリシステムであり、驚異的なジオメトリのディテールを可能にします。長年にわたり、フィルムグレードのアセットとゲームアセットとの間には大きな隔たりがあります。アセットの変換は単純でも迅速でもありませんでした。
特殊な低解像度メッシュ、法線マップ、およびより高い幾何学的複雑さをエミュレートする一連のトリックを使用して、リアルタイムコンテキストで使用するためにフィルムアセットの解像度を下げるために最適化を行う必要がありました。

Nanite仮想化ジオメトリにより、文字通り数億または数十億のポリゴンを持つフィルム品質のソースアセットをUE5に直接インポートできます。ZBrush、フォトグラメトリー、CADデータで生成されたアセットはすべてUE5にインポートできます。
Naniteジオメトリはリアルタイムでストリーミングおよびスケーリングされるため、複雑なポリゴンバジェット、ポリゴンメモリバジェット、描画カウントバジェットは必要ありません。
また、法線マップにディテールを焼き付けたり、ディテールレベル(LOD)を手動で作成したりする必要もなくなります。Natiteはプロセスを仮想化するので、Mipmapの動作とは異なり品質の目に見える損失はありません。

3,000万を超える三角形でインポートされたZBrushモデル。LODやベイクマップはありません。

 

Lumen

Lumen は完全に動的なグローバルイルミネーション ソリューションで、シーンやライトの変更に対して即座に反応します。レイトレーシング向けの特別なハードウェアは必要としません。
このシステムはキロメートルからミリメートルまでの規模の巨大で詳細な環境において、無限のバウンスと間接スペキュラ反射を利用し、ディフューズ相互反射をレンダリングします。Lumen を使用することで、アーティストやデザイナーはさらに動的なシーンを制作できるようになります。

例えば、時間経過による太陽角度の変化、懐中電灯の点灯、天井に穴を開ける爆破などに対して、間接ライティングが適応的に変化します。Lumen によってライトマップのベイクが終わるまで待つ必要も、ライトマップ UV の作成の必要もなくなります。時間が大幅に削減されます。アーティストが Unreal Editor の中でライトを動かすだけで、ライティングの見た目はゲームをコンソールで実行した場合と同じになります。

ダイナミックグローバルイルミネーション

前の世代よりも非常に大きく詳細なシーンをサポートするために、PlayStation 5はストレージ帯域幅を劇的に拡大します。デモでは物理と破壊システムの Chaos、Niagara VFX、Convolution reverb、Ambisonics レンダリングといった既存のエンジンシステム機能についても活用しています。

デモは複雑なパーティクルの相互作用と相互接続性を示しています。あるシーンでは、たいまつがパーティクル駆動型の虫を駆り立て、虫が互いに通信し、環境を理解できるように虫を暗闇に散らします。Niagara には群れ行動の強化もあり、すべてがはるかに複雑で自然な背景要素を可能にします。

キャラクターでは、キャラクターの重心を支援する新しいツールがあり、複雑な地形の上を歩くための新しい予測的な足の配置があり、ゲームデザイナーはコンテキストキャラクターアニメーションをシームレスにトリガーして、キャラクターを頼りにしたり、エフェクトをかけたり、それらが近づくオブジェクトを移動します。

「これらすべてのツールを提供するという私たちの哲学は、人々がゲームに必要なコンテンツを簡単に作成できるようにすることで、ゲームプレイに集中したり、映画を制作している場合は、素晴らしいストーリーの作成に集中したりできます。そして、クリエイティブに力を与えることで、彼らが実際に追跡に近づくことができ、必要のないことをしたり、努力を複製したりするのに時間を無駄にしないようにします」とLibreriは説明します。

 

UE4およびUE5

2020年5月にリリースされたUnreal Engine 4.25は、PlayStation 5とXbox Series Xをサポートしています。Epicは、コンソールメーカーや、Unreal Engineを使用する数十のゲーム開発者やパブリッシャーと緊密に協力して、次世代ゲームを構築しています。

UE5はUE4との上位互換性があるため、現在UE4で構築している開発者はプロジェクトをUE5に簡単に移行できます。アンリアルエンジン5は、2021年の初めにプレビューで利用可能になり、2021年の終わりに完全リリースされて、次世代コンソール、現行世代のコンソール、PC、Mac、iOS、およびAndroidをサポートします。

次世代コンソールをターゲットとする開発者は、UE4でビルドを開始し、必要に応じてプロジェクトをUE5に移植することをお勧めします。

制定法は500回インスタンス化され、制定法だけで160億の三角形を表す。

ロイヤリティ

アンリアルエンジンのロイヤリティは、100万ドルのゲーム内収益を免除しました。これは以前よりも大幅に増加しています。2020年5月13日から有効になり、2020年1月1日まで遡ってロイヤルティの免除額が、タイトルあたり1,000,000ドルに増加し以前の総収益レベルの四半期あたり3,000ドルから増加しました。チームがすでにロイヤリティを支払っている場合、Epicは差額を払い戻します。

 

Epic Online Services

EpicのFortniteをプレイする際の印象的な側面の1つは、同じエクスペリエンスとユーザーデータが共有され、さまざまなプレイモードやデバイス間で引き継がれることです。
Epicは現在、Fortnite用に作成したサービスを他のゲーム開発者に提供しています。例:フレンド、マッチメイキング、ロビー、アチーブメント、リーダーボード、アカウント:PlayStation、Xbox、Switch、PC、Mac、iOS、Androidの7つの主要なプラットフォームで共有できます。

Epicは、シンプルなマルチプラットフォームSDKを使用して、Epic Online Servicesをすべての開発者に無料で提供しています。つまり、開発者はこれらのサービスを会社独自のアカウントサービス、プラットフォームアカウント、またはEpic Gamesアカウントと組み合わせて組み合わせることができます。

 

Epic Games

企業としてのEpic Gamesは、世界的なシャットダウンから恩恵を受けており、ゲームの世界的な成長は巨大で、ゲームの販売は一般的に35%、オンラインゲームは70%以上増加したとの推定があります。

現在Fortniteは世界最大のソーシャルグラフを持ち、3億5000万人以上のプレーヤーと22億人の友達とのつながりが5億のデバイスにまたがっています。重要なことにEpicはFortniteの範囲を拡大し、より多くの 「ライブ」 コンサートを提供し、単なるゲーム以上のものとして強化しています。

参考資料

MPC Film - Creating Scar - Characters of The Lion King

ライオンのリアルさ凄すぎ。

スカーを作るためにチームはまずコンセプトアートを参照することから始めました。

キャラクターのデザイン。モデリングチームは、このアートとライオンの写真を使用して、スカーの形と形を見つけました。モデリングプロセスの後、グルーミング、リギング、シェーディングは早い段階で始まりました。
ステージで、ファーとテクスチャを持つキャラクタを表示するレンダーテストと並行します。プロジェクトが進むにつれて、リアルタイムのバーチャル制作リグから筋肉やスキンの詳細なワークフローに至るまで、リギングツールはプロジェクトの進行に合わせて継続的に開発されました。

アニメーションとリギングのチームは協力して、以前のシステムを構築しました。スカーの繊細な顔のアニメーション、リアルなうなり声、しわが引っ込んだときに皮膚やファーに起こる現象まで、スカーのニュアンスに焦点が当てられました。彼の目とその周りの皮膚には非常に詳細な情報が与えられ、チームは獣医の専門家を招いて構造の特異性を学びました。
マッスルシミュレーションツールは、スカーのスケルトンとの接続性を高めるために開発されました。これにより、軟部組織とスケルトンを衝突させることができ、正しい解剖学的構造とボリュームを維持することができます。

スカーのファーを可能な限りリアルに見せるために、スタジオのファーシェーダーを一から書き直し、アーティストが使用するメラニンベースのカラーパレットを作成しました。グルーミングFXシミュレーションを開発し、風と雨の相互作用に対する現実的な効果を作成しました。

スカーのアニメーションでは、チームはプラネットアースからの何百時間にも及ぶリファレンスクリップ、ケニアでの撮影、アニマルキングダムで撮った映像を研究して、キャラクターのパフォーマンスの面で新しいレベルのディテールを達成しました。
スカーは完全にキーフレームアニメートし、完全に手作業で作成しました。人間の顔の筋肉はライオンの顔の筋肉とは非常に異なるため、スカーの顔のアニメーションは、ライオンのリアリズムを失うことなく感情を伝えるために多大な芸術的判断を必要としました。アニメーションプロセスは非常に時間がかかり、適切なレベルのパフォーマンスと信頼性を実現するために何度も繰り返す必要がありました。

参考資料

JUMANJI ‘making of’ video

ジュマンジ/ネクスト・レベルのメイキングビデオの記事が公開されてます。カッコイイ。
https://www.fxguide.com/quicktakes/jumanji-making-of-video-and-digital-release/

 

Sprout

Sony Picture Imageworks(SPI)のチームは、映画のために社内ツールSpoutを広範囲に使用しました。Sproutは樹木、植物、岩などの高解像度のアセットを大量に含むデジタル環境を手作業で調整するためのSPI独自のMayaベースのツールです。
Spoutが開発されたのは、既存のパイプラインに完全に統合されたアーティストに優しいインタラクティブツールの必要性に対応するためです。

Sproutの開発前は、SPIでの環境ドレッシングは主にHoudiniで、またはレンダリング時にプロシージャル的に行われていたため、FX TDの領域でした。
Sproutでは、アーティストはPhotoshopを使用したことがある人なら誰でも使い慣れたブラシパラダイムを使用して、任意のアセットをロードし、インスタンスを他のジオメトリにすばやくペイントできます。
洗練された軽量OpenGL表現はパフォーマンスを軽快に保ち、すべてのインスタンスはアーティストによって完全に編集可能なままであり、高度にアート指向の環境のドレッシングを可能にします。Sproutは、SPIでの環境ドレッシングをより多くのアーティストに利用可能にしました。

Sproutのインタラクティブな使用とキングスマンでの使用説明

 

ジュマンジ/ネクスト・レベルは4K Ultra HDR、Blu-ray、DVDを発売予定だそうです。

参考資料

The Virtual Production of The Mandalorian, Season One

The Mandalorian,Season Oneで使われているバーチャル制作技術の舞台裏の紹介ビデオが公開されています。以前Epic GamesがUnreal Engineを使用したバーチャルプロダクションツールを研究していましたが、それを実戦投入という感じでしょうか。

マンダロリアン・シーズン1の50%以上がこの画期的な新しい方法論を使って撮影されたため、ロケの必要性はまったくなくなりました。その代わり俳優は、没入型の高さ20インチ、270度の半円形LEDビデオウォールと天井で、直径75インチのパフォーマンススペースを使用し、実際のセットピースと画面上のデジタル拡張機能を組み合わせました。

ILMによって作成されたデジタル3D環境は、撮影中にリアルタイムで編集されたLEDウォール上でインタラクティブに再生され、NVIDIA GPUを搭載したシステムによって高解像度でレンダリングされたピクセル精度のトラッキングとパースペクティブ補正3D画像を可能にしました。

環境はカメラの視点から照らされてレンダリングされ、リアルタイムで視差を提供します。まるでカメラが俳優や実用的なセットで正確なインタラクティブライトを使用して物理的環境を実際にキャプチャして、撮影中のビジュアルエフェクト主導の作業のために具体的な創造的な選択を行い、リアルタイムのカメラ内合成を実現します。

インカメラ合成とエフェクトをオンセットで使用するために実用的なものにするために必要なテクノロジーとワークフローは、Golem Creations、Fuse、Lux Machina、Profile Studios、ARRIなどのパートナーの創意工夫とILMのStageCraft仮想制作映画制作プラットフォーム、そして最終的にはUnreal Engineプラットフォームのリアルタイムインタラクティビティを組み合わせたものです。

参考資料

AIを使用した高解像度化サービス「AnimeRefiner」

AIを使用した高解像度化サービス「AnimeRefiner」のページが公開されてます。
https://animerefiner.com/

サンプルを見ると線がシャープな状態でクオリティーが高そうです。意図的なのかわかりませんが、サンプルが汚く縮小されてるのが気になります。あにめたまご2018作品なので、等倍ピクセルを4k、8kにしたサンプルが見てみたい気がします。

続きを読む

参考資料

AIを使用したフレーム補間「DAIN-APP」

AIを使用したフレーム補間アプリがPatreonで公開中です。ちょっと面白そう。
https://www.patreon.com/DAINAPP
https://github.com/baowenbo/DAIN

高度なAIを使用して新しいフレームを予測し、ビデオまたはgifのフレームレートを上げるアプリ、DAINAPPを開発しています。DAINを使用すると、あらゆる種類のビデオとアニメーションで補間を作成できます。ピクセルアートとゲームスプライトで使用する例をいくつか示します。

参考資料

Capsule Showreel 2019

パリに拠点を置くカプセルスタジオのリール。クオリティーが高い。

参考資料

Alivia and the Dark Evil

インドネシアのテーマパークのショーだそうです。プロジェクションマッピングを組み合わせた舞台が凄そう。

参考資料

「Klaus」のメイキング記事

Netflixで配信中のアニメ「Klaus」のメイキング記事が公開されてます。2Dアニメなのに3DCGのようなライティングが印象的な作風が話題です。

「Klaus」は2015年にテイザームービーが公開され、その直後にToon Boomと技術提携が発表されました。そのことからToon Boom上で質感を作る環境を構築したのかと思ったら、ブラシストロークとテクスチャを2Dキャラクターに半自動でトラッキングする専用ツールを使ったみたいですね。

https://beforesandafters.com/2019/11/14/heres-what-made-the-2d-animation-in-klaus-look-3d/
https://www.cartoonbrew.com/feature-film/how-klaus-draws-on-centuries-old-artistic-principles-to-push-2d-animation-forward-182325.html

公式サイト
https://www.netflix.com/jp/title/80183187

 

Les Films Du Poisson Rougeで開発されたツールセットの舞台裏

Les Films Du Poisson Rougeは、描画された線からトラッキングする方法を見つけました。 ベクトル描画された線だけでなく、ビットマップの線も。 パートナーシップから生まれたのはリアルタイムで動作するこの非常に直感的なツールであり、アーティストが短時間で驚くほどの量の作業を行うことができます。 このツールを「Klaus Light and Shadow」と呼びました。

もう1つの非常に重要な部分はToon Boomでした。パイプライン全体がToon Boom Harmonyを中心に構築されています。 ストーリーボードからインクやペイントまで、すべてがトゥーンブームパイプラインに基づいていました。

ライティング前のプロセス

Toon BoomのStoryboard Proを使用してストーリーボードを作成します。 素晴らしいことは、そこからレイアウトに直行できることでした。 タブレットでデジタルレイアウトを行いました。
2Dショットか3Dショットかに応じてレイアウトを分割します。 レイアウトから、アニメーションをToon Boom Harmonyで直接行いました。 トリックはありません。 パペット アニメーションはありません。すべてフレームごとに手で描かれました。 昔のように、アシスタントやインビトウィナーが線を処理するクリーンアップチームがありました。

その後、線を処理するインクとペイントに移動します。それはおそらく最も難しい部分でした。情報を伝えるために必要な場所にのみ線を残しました。コントラストと色が与えられている場合、線は必要ないと感じたため、多くのアウトラインがなくなっていることに気付くでしょう。ただし、手や顔に内側に線が表示されることがあります。そのため、実際に必要な線の数と、後でシャドウに置き換えることができる線の数を慎重に選択しました。

ライティングのブレークスルー

映画全体にカラーバイブルがあり、カラースクリプトもありました。 カラースクリプトには、映画のすべてのショットが含まれているわけではありませんが、少なくとも4回に1回は含まれていると思う。
背景とキャラクターのライティングの基準が必要でした。背景を扱う背景画家もキャラクターのライターも同じソースから描いていました。

 

ライティングのプロセスは、基本的にはコンセプトアーティストが毎日行うように、シーンのライティングを説得力のある方法で分解することでした。最大8レイヤーのライティングを導入します。アンビエントオクルージョン、サブサーフェススキャッタリング、リムライト、目の鏡面反射光、バウンスライトなどがあります。
これらのレイヤーのそれぞれには、アーティストがショット用にレイヤーの下に作成するシェイプのセットがあります。Les Films Du Poisson Rougeのツールのトラッキングシステムを使って、レイヤーをいくつも通過します。次に、それらをマージして 「ベイク処理された」 ライティングの外観を作成します。

ライティングの後 「テクスチャリング」 と呼ばれる別のステップがあります。3Dのテクスチャリングではありません。これはLes Films Du Poisson Rougeのもう一つのツールでM.O.E.と呼ばれ、ウォッシュ、水彩、オイルなどのペイントスタイルを選択し、ストロークの動作とサイズを決定してイメージに適用できます。背景と同じスタイルなので、ある程度のグレインが必要でした。これは非常に微妙なもので、それを見るために目を細めなければなりません。このグレインはキャラクターと一緒に移動します。

次に、これらすべての要素を合成します。Compは各シェイプに適用するテクスチャの量を決定します。肌などに同じレベルのテクスチャがないため、Compはこれを制御し各ショットに何を適用するかを決定できます。

3Dは依然として大きな役割を果たした

Mayaでは多くの3D要素を作成しました。トナカイなどの要素は3Dの場合もあれば、2Dの場合もあります。私は3Dチームに「リグでこれを行うことができますか?」と言い、彼らは「はい」、「いいえ」、または2Dで行う方が簡単だと言います。 2Dでトナカイをアニメートしても、ファーが正しく表示されない場合があるので、ファーを外してその上にペイントします。

 

アーティストのためのツール

この新しいツールを使うことは、アーティストたちにとっても楽しみでした。実際、アニメーションに簡単に付加機能を追加できるため、行き過ぎを止めるのは難しかった。『まあ、それはちょっと多いですね』。