スゲー

参考資料

2Dイラストから3Dモデルを自動生成

2Dイラストから3Dモデルを自動生成する実験をしてる人を見かけました。面白いですね。

参考資料

Tecmash

カッコイイ

参考資料

VWLS - "High In Heaven"

ドローン200機を使用したミュージックビデオ。ドローンのアニメーションにCinema 4DとAR toolkit Moves by Maxonを使用してるらしいです。ドローンの移動をリアルタイムなリップシンクに見せるために、5倍遅く撮影した後に5倍速化してるとのこと。

https://www.fxguide.com/fxfeatured/face-that-drone/

参考資料

RETRO ARCADE ANIME: R-TYPE

R-TYPEを題材にしたレトロ風のアニメ作品。80年代へのこだわりが凄いです。

 

2Dアニメーションの3D背景トリック

 

80年代風のスペースシップをアニメーション化する方法

参考資料

StyleGAN2を使用した高解像度画像の合成

機械学習を使用した高解像度のスタイライズド 画像生成だそうです。githubでソースが公開されてるようです。
https://news.developer.nvidia.com/synthesizing-high-resolution-images-with-stylegan2/
https://github.com/NVlabs/stylegan2

NVIDIA Researchによって開発され、CVPR 2020で発表されたStyleGAN2と呼ばれるこの新しいプロジェクトは、転移学習を使用して、無限に多様な絵画スタイルで一見無限のポートレートを生成します。

 

概要

スタイルベースのGANアーキテクチャ(StyleGAN)は、データ駆動型の無条件生成画像モデリングで最先端の結果をもたらします。その特徴的なアーティファクトのいくつかを公開して分析し、それらに対処するためのモデルアーキテクチャとトレーニング方法の両方の変更を提案します。

特にジェネレーターの正規化を再設計し、プログレッシブ成長を再検討し、ジェネレーターを正規化して、潜在的なベクトルから画像へのマッピングを適切に調整します。このパス長レギュラライザは、画質を向上させるだけでなく、ジェネレーターの反転が非常に容易になるという利点もあります。これにより、特定のネットワークによって画像が生成されているかどうかを確実に検出できます。

さらに、ジェネレーターがその出力解像度をどのように活用するかを視覚化し、容量の問題を特定して、より大きなモデルをトレーニングして追加の品質改善を行う動機付けをします。全体的に見て、私たちの改良されたモデルは、既存の配信品質メトリックと知覚される画像品質の両方の観点から、無条件の画像モデリングにおける最先端の技術を再定義します。

参考資料

PIFuHD:高解像度3D人間のデジタル化のためのマルチレベルピクセルアライン暗黙関数

「PIFuHD」はディープラーニングを使用して、1枚の画像から高解像度の3Dモデルを生成する技術だそうです。
ディープラーニング形の画像生成は解像度が低い物が多かったですが、高解像度の画像を活用できるところが有望な感じしますね。githubでソースが公開されてるようです。
https://github.com/facebookresearch/pifuhd
https://shunsukesaito.github.io/PIFuHD/

後処理なしで元の入力のディテールを保持しながら、これまでにないほど高い1k画像解像度でピクセル配置方法で、衣服を着た人間の3Dジオメトリを推測するマルチレベルフレームワークを紹介します。

 

概要

画像ベースの3D人間の形状推定における最近の進歩は、ディープニューラルネットワークによって提供される表現力の大幅な改善によって推進されてきました。現在のアプローチは現実世界の設定で可能性を実証していますが、入力画像にしばしば存在する詳細レベルで再構成を生成することはできません。

この制限は主に2つの相反する要件を形成していると私たちは主張します。正確な予測には大きなコンテキストが必要ですが、正確な予測には高解像度が必要です。現在のハードウェアのメモリ制限により、以前のアプローチでは、入力として低解像度の画像を使用して大きな空間コンテキストをカバーし、結果として精度の低い(または低解像度の)3D推定を生成する傾向があります。エンドツーエンドのトレーニングが可能なマルチレベルアーキテクチャを策定することにより、この制限に対処します。

粗いレベルでは画像全体を低い解像度で観察し、全体論的な推論に焦点を当てます。これは、より高解像度の画像を観察することによって非常に詳細なジオメトリを推定する細かいレベルにコンテキストを提供します。私たちのアプローチは、1k解像度の入力画像を完全に活用することにより、単一画像の人間の形状の再構成に関する既存の最先端技術を大幅に上回っていることを示しています。

 

参考資料

NVIDIA Marbles RTX

NVIDIAがMarbles RTXと呼ばれるシミュレーションとリアルタイムGPUレンダリングのデモ映像を公開しています。デモはプレイ可能なゲーム環境で、動的な照明と豊富な物理ベースのマテリアルでリアルタイムの物理を表示します。

MarblesはOmniverseのアーティストとエンジニアの分散チームによって作られ、VFX+の高品質なアセットを完全に物理的にシミュレートされたゲームレベルに組み立てています。リアルタイムで実行するための「ゲーム化」アートアセットから一般的に生じる品質と忠実性を犠牲にすることはありませんでした。

Marblesは単一のQuadro RTX 8000上で動作し、リアルタイムでレイトレースされた世界の複雑な物理をシミュレートします。

CG News

Unreal Engine 5 初公開

Epic GamesはPlayStation 5でライブで実行されている次世代のUnreal Engine 5のリアルタイムデモの映像を公開しました。驚くようなグラフィックですね。
https://www.unrealengine.com/ja/blog/a-first-look-at-unreal-engine-5?lang=ja
https://www.fxguide.com/fxfeatured/ue5-first-look/

Lumen in the Land of Naniteデモ

デモはゲームのようですが、実際のゲームやプロトタイプではありません。 UE5の機能を示すためだけに特別に作成されました。Epicチームはまるで新しいゲームの一部であるかのように、完全にインタラクティブに体験できる短い作品を作ることにしました。数多くのチームとテクノロジーが集まり、表示品質を飛躍的に向上させました。

「すべてが動的なので、どのオブジェクトでも移動できます。そのすべてが完全に動的なGIと兵士の各像だけでも、3,000万を超える三角形です」とLibreriは指摘します。Naniteジオメトリテクノロジーを示す大きなシーンは、Quixel Megascansライブラリを多用しました。Quixelは現在Epicの一部であり、最大で数億のポリゴンを持つフィルム品質のオブジェクトを提供します。

 

Nanite

Naniteは仮想化されたマイクロポリゴンジオメトリシステムであり、驚異的なジオメトリのディテールを可能にします。長年にわたり、フィルムグレードのアセットとゲームアセットとの間には大きな隔たりがあります。アセットの変換は単純でも迅速でもありませんでした。
特殊な低解像度メッシュ、法線マップ、およびより高い幾何学的複雑さをエミュレートする一連のトリックを使用して、リアルタイムコンテキストで使用するためにフィルムアセットの解像度を下げるために最適化を行う必要がありました。

Nanite仮想化ジオメトリにより、文字通り数億または数十億のポリゴンを持つフィルム品質のソースアセットをUE5に直接インポートできます。ZBrush、フォトグラメトリー、CADデータで生成されたアセットはすべてUE5にインポートできます。
Naniteジオメトリはリアルタイムでストリーミングおよびスケーリングされるため、複雑なポリゴンバジェット、ポリゴンメモリバジェット、描画カウントバジェットは必要ありません。
また、法線マップにディテールを焼き付けたり、ディテールレベル(LOD)を手動で作成したりする必要もなくなります。Natiteはプロセスを仮想化するので、Mipmapの動作とは異なり品質の目に見える損失はありません。

3,000万を超える三角形でインポートされたZBrushモデル。LODやベイクマップはありません。

 

Lumen

Lumen は完全に動的なグローバルイルミネーション ソリューションで、シーンやライトの変更に対して即座に反応します。レイトレーシング向けの特別なハードウェアは必要としません。
このシステムはキロメートルからミリメートルまでの規模の巨大で詳細な環境において、無限のバウンスと間接スペキュラ反射を利用し、ディフューズ相互反射をレンダリングします。Lumen を使用することで、アーティストやデザイナーはさらに動的なシーンを制作できるようになります。

例えば、時間経過による太陽角度の変化、懐中電灯の点灯、天井に穴を開ける爆破などに対して、間接ライティングが適応的に変化します。Lumen によってライトマップのベイクが終わるまで待つ必要も、ライトマップ UV の作成の必要もなくなります。時間が大幅に削減されます。アーティストが Unreal Editor の中でライトを動かすだけで、ライティングの見た目はゲームをコンソールで実行した場合と同じになります。

ダイナミックグローバルイルミネーション

前の世代よりも非常に大きく詳細なシーンをサポートするために、PlayStation 5はストレージ帯域幅を劇的に拡大します。デモでは物理と破壊システムの Chaos、Niagara VFX、Convolution reverb、Ambisonics レンダリングといった既存のエンジンシステム機能についても活用しています。

デモは複雑なパーティクルの相互作用と相互接続性を示しています。あるシーンでは、たいまつがパーティクル駆動型の虫を駆り立て、虫が互いに通信し、環境を理解できるように虫を暗闇に散らします。Niagara には群れ行動の強化もあり、すべてがはるかに複雑で自然な背景要素を可能にします。

キャラクターでは、キャラクターの重心を支援する新しいツールがあり、複雑な地形の上を歩くための新しい予測的な足の配置があり、ゲームデザイナーはコンテキストキャラクターアニメーションをシームレスにトリガーして、キャラクターを頼りにしたり、エフェクトをかけたり、それらが近づくオブジェクトを移動します。

「これらすべてのツールを提供するという私たちの哲学は、人々がゲームに必要なコンテンツを簡単に作成できるようにすることで、ゲームプレイに集中したり、映画を制作している場合は、素晴らしいストーリーの作成に集中したりできます。そして、クリエイティブに力を与えることで、彼らが実際に追跡に近づくことができ、必要のないことをしたり、努力を複製したりするのに時間を無駄にしないようにします」とLibreriは説明します。

 

UE4およびUE5

2020年5月にリリースされたUnreal Engine 4.25は、PlayStation 5とXbox Series Xをサポートしています。Epicは、コンソールメーカーや、Unreal Engineを使用する数十のゲーム開発者やパブリッシャーと緊密に協力して、次世代ゲームを構築しています。

UE5はUE4との上位互換性があるため、現在UE4で構築している開発者はプロジェクトをUE5に簡単に移行できます。アンリアルエンジン5は、2021年の初めにプレビューで利用可能になり、2021年の終わりに完全リリースされて、次世代コンソール、現行世代のコンソール、PC、Mac、iOS、およびAndroidをサポートします。

次世代コンソールをターゲットとする開発者は、UE4でビルドを開始し、必要に応じてプロジェクトをUE5に移植することをお勧めします。

制定法は500回インスタンス化され、制定法だけで160億の三角形を表す。

ロイヤリティ

アンリアルエンジンのロイヤリティは、100万ドルのゲーム内収益を免除しました。これは以前よりも大幅に増加しています。2020年5月13日から有効になり、2020年1月1日まで遡ってロイヤルティの免除額が、タイトルあたり1,000,000ドルに増加し以前の総収益レベルの四半期あたり3,000ドルから増加しました。チームがすでにロイヤリティを支払っている場合、Epicは差額を払い戻します。

 

Epic Online Services

EpicのFortniteをプレイする際の印象的な側面の1つは、同じエクスペリエンスとユーザーデータが共有され、さまざまなプレイモードやデバイス間で引き継がれることです。
Epicは現在、Fortnite用に作成したサービスを他のゲーム開発者に提供しています。例:フレンド、マッチメイキング、ロビー、アチーブメント、リーダーボード、アカウント:PlayStation、Xbox、Switch、PC、Mac、iOS、Androidの7つの主要なプラットフォームで共有できます。

Epicは、シンプルなマルチプラットフォームSDKを使用して、Epic Online Servicesをすべての開発者に無料で提供しています。つまり、開発者はこれらのサービスを会社独自のアカウントサービス、プラットフォームアカウント、またはEpic Gamesアカウントと組み合わせて組み合わせることができます。

 

Epic Games

企業としてのEpic Gamesは、世界的なシャットダウンから恩恵を受けており、ゲームの世界的な成長は巨大で、ゲームの販売は一般的に35%、オンラインゲームは70%以上増加したとの推定があります。

現在Fortniteは世界最大のソーシャルグラフを持ち、3億5000万人以上のプレーヤーと22億人の友達とのつながりが5億のデバイスにまたがっています。重要なことにEpicはFortniteの範囲を拡大し、より多くの 「ライブ」 コンサートを提供し、単なるゲーム以上のものとして強化しています。

参考資料

MPC Film - Creating Scar - Characters of The Lion King

ライオンのリアルさ凄すぎ。

スカーを作るためにチームはまずコンセプトアートを参照することから始めました。

キャラクターのデザイン。モデリングチームは、このアートとライオンの写真を使用して、スカーの形と形を見つけました。モデリングプロセスの後、グルーミング、リギング、シェーディングは早い段階で始まりました。
ステージで、ファーとテクスチャを持つキャラクタを表示するレンダーテストと並行します。プロジェクトが進むにつれて、リアルタイムのバーチャル制作リグから筋肉やスキンの詳細なワークフローに至るまで、リギングツールはプロジェクトの進行に合わせて継続的に開発されました。

アニメーションとリギングのチームは協力して、以前のシステムを構築しました。スカーの繊細な顔のアニメーション、リアルなうなり声、しわが引っ込んだときに皮膚やファーに起こる現象まで、スカーのニュアンスに焦点が当てられました。彼の目とその周りの皮膚には非常に詳細な情報が与えられ、チームは獣医の専門家を招いて構造の特異性を学びました。
マッスルシミュレーションツールは、スカーのスケルトンとの接続性を高めるために開発されました。これにより、軟部組織とスケルトンを衝突させることができ、正しい解剖学的構造とボリュームを維持することができます。

スカーのファーを可能な限りリアルに見せるために、スタジオのファーシェーダーを一から書き直し、アーティストが使用するメラニンベースのカラーパレットを作成しました。グルーミングFXシミュレーションを開発し、風と雨の相互作用に対する現実的な効果を作成しました。

スカーのアニメーションでは、チームはプラネットアースからの何百時間にも及ぶリファレンスクリップ、ケニアでの撮影、アニマルキングダムで撮った映像を研究して、キャラクターのパフォーマンスの面で新しいレベルのディテールを達成しました。
スカーは完全にキーフレームアニメートし、完全に手作業で作成しました。人間の顔の筋肉はライオンの顔の筋肉とは非常に異なるため、スカーの顔のアニメーションは、ライオンのリアリズムを失うことなく感情を伝えるために多大な芸術的判断を必要としました。アニメーションプロセスは非常に時間がかかり、適切なレベルのパフォーマンスと信頼性を実現するために何度も繰り返す必要がありました。