参考資料

参考資料

NeROIC: Neural Object Capture and Rendering from Online Image Collections

カメラ、照明、背景が異なるオンライン画像から、3Dオブジェクトを作成する技術が発表されています。

https://formyfamily.github.io/NeROIC/

 概要

カメラ、照明、背景が異なる写真から任意の物体の高品質な形状と材料特性を取得し、オンライン画像コレクションから物体表現を取得する新しい方法を提案する。これにより、ノベルビュー合成、再照明、調和的な背景合成など、様々なオブジェクト中心のレンダリングアプリケーションを、困難な実環境の入力から実現することができる。

ニューラルラジアンスフィールドを拡張した多段アプローチにより、まず表面形状を推定し、粗く推定された初期カメラパラメータを改良し、粗い前景オブジェクトマスクを活用して学習効率と形状品質を向上させる。また、ロバストな法線推定技術を導入し、重要なディテールを保持しつつ、幾何学的ノイズの影響を排除する。最後に、表面の材料特性と環境照明を抽出し、球面調和で表現し、鋭い影などの過渡的な要素を処理する拡張を行う。これらのコンポーネントを組み合わせることで、高度にモジュール化された効率的なオブジェクト取得フレームワークが実現する。

広範な評価と比較により、レンダリングアプリケーションに有用な高品質のジオメトリと外観特性を取得する上で、我々のアプローチの優位性が実証されている。

 

オーバービュー

異なる条件の物体画像を入力とし、2段階のモデルを構築する。まず、他の手法で取得した画像のカメラポーズと物体の前景マスクを用いて、NeRFベースのネットワークを学習させることにより、スキャンした物体の形状を最適化し、カメラポーズを改良する。次に、法線抽出層を用いて、形状(密度関数で表現)から表面法線を計算し、最後に、第2段階のモデルにより、各画像について物体の材料特性を分解して照明条件について解決する。

 

新しいビューの合成

共通のオブジェクトのオンライン画像があれば、学習画像の照明条件を用いて、オブジェクトの新しいビューを合成することができます。

 

マテリアル分解

また、キャプチャしたオブジェクトの材料特性(アルベド、スペキュラリティ、ラフネスマップを含む)および表面法線を解くことができます。

リライティング

モデルから生成されたマテリアルプロパティとジオメトリを使用して、さらに新しい照明環境でオブジェクトをレンダリングすることができます。

参考資料

Deathadder

RazerのマウスDeathAdderの非公式広告ビデオ。レンダリングが綺麗。

昔DeathAdderを使ってましたが、FoundryのmodoフォーラムでRazerの方を見かけるのと、NewTekマウスがたぶんRazer CopperheadのOEMだったり、製品のイメージは悪くないです。

参考資料

The Liberator | Official Trailer

Netflixはアレックス・カーショウの著書「The Liberator」を基に、Trioscopeによるハイブリッドアニメーションで贈る4部作の第二次世界大戦物語「The Liberator」の予告編を公開しました。シチリアの浜辺からダッハウの門まで500日にわたる第二次世界大戦の兵士の旅を描いた作品です。

手描き風のフィルターとCGをミックスした独特の絵になってますね。「EbSynth」のような技術だったりするのかしら?

 

Trioscope enhanced hybrid animation

私たちは「トリオスコープ・エンハンスド・ハイブリッド・アニメーション」と言いましたが、その意味はわからないはずです。新しいタイプのアニメーション、あるいは、少なくともこれまで何となく見てきたタイプのアニメーションの新しい用語だ。予告編でご覧いただけます。

トリオスコープによるハイブリッドアニメーションは、ロトスコープとは大きく異なるのでしょうか?ロトスコーピングは、実写映像を撮影し、その上を手動またはデジタルでなぞることで実現するアニメーションスタイルです。

トリオスコープ・エンハンスド・ハイブリッド・アニメーションは、アニメーションスタジオSchool of Humansが考案したもので、『The Liberator』はその最初のショーケースとなる予定です。School of Humansによると、彼らのアニメーション技術は以下の通りです。

特許出願中の新技術と革新的なプラットフォームにより、鮮やかな3Dグラフィックノベルを実現する、進化したアニメーションイメージの反復です。TRIOSCOPE™ EHAは、人間の顔に写真のようにリアルな感情を与え、キャラクターの動きやアクションに前例のないディテールをもたらします。この独自技術は、TRIOSCOPE℠スタジオのみで発明・利用され、3D CGIペイント環境、実写映像、従来の2Dアニメーションを融合しています。

 

 

他にもインタビューが掲載されてるサイトがいくつかあるみたいです。

 

ザ・リベレーター」のメイキング

https://beforesandafters.com/2020/11/19/a-new-kind-of-animation/

 

Netflixで配信中のGrzegorz Jonkajtys監督による4部作の実写/CGIハイブリッドアニメーション「The Liberator」は、どこか異質な雰囲気を漂わせています。最初は、単にロトスコープアニメーションのプロセスを変えただけだと思うかもしれません。しかし、よく見ると、演技の細部や感情がとてもよくわかるのです。

befores & aftersは、米国Trisoscope Studiosと共同でこのシリーズを制作したポーランドのスタジオJuiceに、この表情と感情がどのように作られたのかを聞いてみることにした。実写からアニメーションへの具体的なワークフロー(「Trioscope Enhanced Hybrid Animation」と呼ばれる)は今のところ伏せられていますが、このシリーズの制作に何が関わっているのか、掘り下げてみました。

 

b&a 通常の実写映画やアニメーション映画と比較して、『リベレーター』ではどのような点が異なりましたか?

ミハエル・ミシンスキー(アートディレクター、セカンドユニットディレクター)。最初から、コミック・ブックのスタイルにリアルな感情を取り入れることを心がけています。撮影現場には実際に演じている人がいるんですよ。そのうえで、コミックのようなスタイルを加えることができたのです。これは、何か新しいものを生み出すものであり、ユニークなものです。というのも、感情を損なわないようにするために、顔をクロスハッチングで覆ったり、スタイライズしたりと、何度もテストを繰り返したからです。

マルコ・ザリッチ(視覚効果スーパーバイザー)。技術的な観点から言うと、実写で撮影した後、何らかのCGを組み込む場合、CGの部分は実写によって、照明条件や環境条件によって、すべてのニュアンスを一致させる必要があるのです。しかし、今回は舞台で撮影し、それを自分たちの好きなように演出し、さらに実写とCGをそのスタイルに合わせる必要があり、最終的にこのようなルック&フィールになりました。

マンガを見ると、手前にいる全員を意図的に強調することがありますが、映像が奥に行くにつれて、細部がどんどん見えなくなってきて目立ちますよね。そこで、技術的な観点から、通常のCGの世界から来た私たちは、このバランスを見つける必要がありました。ディテールをどこで止めるか。これは非常にリアルなものである、あるいは非常にリアルな建物や小道具である、といった細い線はどこにあるのでしょうか?同時に、グラフィカルで、まるでコミックを読んでいるような感覚を与える必要があります。しかし、同時に、リアルに見える必要があります。同じ世界の一部であるかのように見える必要があるのです。

 

b&a: 従来のロトスコープアニメーションとの違いは何ですか?

マルコ・ザリッチ 従来のロトスコープ・アニメーションでは、例えば『スキャナー・ダークリー』のように、フレームごとにペイントしたり、半自動的に顔を認識させたりしますよね。そうすると、最終的なルック&フィールは、ちょっと平板なものになってしまうんです。
Trioscopeが開発したのは、もう少しプロシージャルに近いものです。そのため、通常のロトスコープアニメーションでは見られないような、ニュアンスや演技、微妙なディテールをすべて得ることができます。非常に存在感があり、ステージでの演技が原動力になっています。私たちは実際に彼らの演技を使い、他のすべてがそれによって動かされているのです。ですから、最終的なルックは、撮影中に俳優がどのように振る舞うかに大きく依存します。

 

b&a: 撮影現場では、メイクアップ、衣装、小道具が様式化されていました。そのために何をしたのか、どこまでスタイライゼーションが必要だったのか、少し教えてください。

ミハエル・ミシンスキー:基本的に、すべてにラインアートを加える必要がありました。顔には線を入れました。ワードローブにも同じような線があります。この線は、コミックブックのようなスタイルからきています。セットは感情にあまり関係しないので、実はそれほど問題ではありません。だから、できる限りペイントを施しましたが、ここでの鍵は顔でした。

 

b&a: ブルースクリーンのセットをたくさん使っていますね。どのようにして、どの程度のセットを作る必要があるかを決定したのですか?
ブルースクリーンにするかグリーンスクリーンにするかは、どのように決定したのですか?

マルコ・ザリッチ: ブルー・スクリーン/グリーン・スクリーン、ここでの決定は厳密に実用的な理由によるものでした。私たちは第二次世界大戦のドラマを撮影しており、つまり90%のユニフォームはグリーンかグレーなのです。
ですから、ブルー・スクリーンは当然の選択でした。セットの小道具は、特定のテーブルや椅子、銃や武器など、俳優が扱う必要のあるものに限定するようにしました。それ以外はすべてCGで作り込んだので、私たちが望むように自由に解釈することができました。

外装に関しては、さまざまなプラットフォームやブルーボックス、セットを作りました。だから、下り坂を走るときは、実際に下り坂を走っていたんです。それから、セットには面白いものがありました。発泡スチロールで作った青い石がたくさんあって、役者がどう振舞うかわかるように、置き石のようなものでした。それが、倒れたり、とても軽い小道具なので、かなりのスピードであちこちに飛んでいったんです!(笑)。

このように、技術全体が新しいものだったのです。本物の小道具を使うことの限界と、CGを使うことの限界を理解するまで、私たちは何度も試行錯誤を繰り返しました。例えば、そのひとつが水です。水とのインタラクションは初日から頭痛の種でしたが、どうすればいいのかがわかりました。何をしたかを正確に明かすことはできませんが、撮影中のステージの中から1つ課題を挙げるとすれば、それは間違いなく水とのインタラクションです。

 

b&a:ブルースクリーンのステージで撮影し、多くの作業をポストプロダクションで行う必要がありましたが、このプロセスの中で、ライブコンプやバーチャルプロダクションのアプローチなど、撮影現場でリアルタイムにフィードバックを得られるような部分はありましたか?

ミハエル・ミシンスキー :それは可能ですが、発展させるには時間がかかります。4つのエピソードはすべてプリビズで撮影され、このプリビズによって、何カット撮影するか、どのようにカメラをセットアップするか、そういったことがわかります。
しかし、今後の制作では、バーチャルスタジオがフィードバックを得るための鍵になります。ブルースクリーンに大勢の兵士を登場させ、これが戦争であるかのように見せかけなければなりません。ブルースクリーンの中で走り、叫び、銃を撃つ姿は滑稽に見えます。ですから、将来的には、リアルタイムでのプレビューを実現したいと考えています。

参考資料

Mrs Claus

キャラクターがかわいい。生産が遅れてキャンセルされたプロジェクトらしい。

参考資料

V-Ray for Modo 開発終了

V-Ray for Modoと、V-Ray for Katana の開発終了がアナウンスされました。V-Rayは建築系で人気のあるレンダラーでした。ライティングソフトのKatanaも終了と言うことは、エンターテイメント系での導入がいまひとつだったのかも知れませんね、メジャーなプラグインが撤退するのは残念です。

https://forums.chaos.com/forum/v-ray-for-modo-announcements/1134583-v-ray-for-modo-discontinuation
https://oakcorp.net/archives/14897

 

V-Ray for Modo廃止のお知らせ

皆様へ

日頃より弊社製品にご関心をお寄せいただき、誠にありがとうございます。Chaosは、お客様にとっての価値、優れたユーザー体験、そして優れた最終結果を生み出す革新的な製品をお届けするために努力しています。このような製品開発に対応するため、いくつかの製品は最終的に自然な形で寿命を迎えることになります。

Chaosは、V-Ray for Modoをオンラインストアでの販売停止を皮切りに、徐々に廃止し、さらなる製品開発を進めています。この移行をできるだけスムーズに行うため、V-Ray for Modoのサポートは、2022年12月31日のサポート終了まで、さらに1年間(12ヶ月)継続します。

 

販売・保守終了のお知らせ

2021年12月20日、この日をもってV-Ray for Modoは弊社オンラインストアでの販売を終了させていただきます。Chaos リセラーからのライセンス購入は、2022年1月20日まで可能です。
販売終了は、メンテナンス終了と同時に行われます。ビルドのメンテナンスとアップデートの提供は終了となります。ただし、ビルドはサポート終了の2022年12月31日まで、Chaosのダウンロードセクションで入手可能です。また、サポート終了まで12ヶ月間、技術サポートを提供します。

 

サポート終了日

2022年12月31日、サポート終了日はV-Ray for Modoのテクニカルサポートが終了する日、およびビルドのダウンロードができなくなる日を指します。
サポート終了後も製品のご使用は可能ですが、報告された問題はカオスチームでは考慮されません。

 

メンテナンス終了後の製品ライセンスについて

既存のV-Ray for Modo製品は、ライセンスの有効期間中、通常通り動作し、永久ライセンスは永久に機能します。アクティブなV-Ray Collectionライセンスは、2022年12月31日までV-Ray for Modoを有効にし続けます。

私たちは、このプロセスをすべてのお客様とパートナーにできるだけ透明化し、進行中のプロジェクトの計画を立て、適切なサポートプロセスへと導くことができるようにしたいと考えています。ご質問やご不明な点がございましたら、弊社サポートまでご連絡ください。

ご挨拶
ウラジミール・ネデフ

参考資料

Rebelle 5 リリース

顔料をベースにした物理的な混色機能を追加したRebelle 5 がリリースされました。絵の具的な混色とNanoPixelが面白いですね。DropEngineも楽しそう。

価格はRebelle 5 $89.99、Rebelle 5Pro $149.99です。アップグレード価格は現在Rebelle 4の所有者はすべて50%OFF、通常のアップグレード価格は、標準で$44.99、Pro $74.99です。

https://www.escapemotions.com/products/rebelle/about
https://www.escapemotions.com/blog/rebelle-5-released-today-a-whole-new-level-of-painting-experience

主な新機能

顔料

Rebelle 5は、RGBフルカラーガモットで伝統的な顔料に基づくリアルフィジカルなカラーミキシングを備えた世界初のソフトウェアです。

伝統的な顔料で作られたように色を混ぜ、グレーから自然に曲がるより鮮やかな色を作り出し、二次的な色相を作り出します。顔料のカラーミキシング・モデルを開発したŠárka SochorováとOndřej Jamřiškaに特別な感謝を捧げます。彼らのソリューションのおかげで、これらの美しいリアルなカラーシフトを楽しむことができるようになります。この機能はRebelle 5 Proで利用可能です。

 

 

NanoPixel

機械学習に基づく新しいNanoPixelテクノロジーにより、リアルタイムでキャンバスにズームインして無限のディテールを確認し、シャープなディテールで16倍もの驚くべきサイズのアートワークをエクスポートしたり、絵画をA4からA0にリスケールして今までにないディテールでプリントすることができます。この機能はRebelle 5 Proで利用可能です。

 

水彩画の粒状化

水彩画のストロークに美しい実物そっくりの粒状化効果を追加して、絵画をこれまで以上に生き生きとしたものにすることができます。

 

改良された油絵とアクリル

Rebelle 5では、油絵とアクリル絵の具を使ったペイントが大幅に改良され、よりコントロールしやすいペイントが可能になりました。

 

タイムラプス録画

ペイントの最初から最後までを録画し、.mp4ファイルフォーマットでエクスポートできます。

 

Photoshopプラグイン

弊社ソフトウェアとPhotoshopの間で頻繁にレイヤーを交換する必要があるアーティストのために作成された特別なプラグインです。ボタン1つでレイヤーをPhotoshopに書き出したり、逆にPhotoshopからレイヤーを書き出したりすることができます。この機能はRebelle 5 Proで利用可能です。

カラーマネージメント

カラーマネージメントは、ピグメントカラーミキシングとシームレスに動作するように再設計されました。この機能はRebelle 5 Proで利用可能です。

 

  • マルチカラー&ダーティブラシ - 美しいマルチカラーのブラシストロークを作成したり、ダーティブラシを使用して最後に読み込んだ色でペイントすることができます。
  • エクスプレス・オイル - 素早いスケッチ、コンセプト・デザイン、下絵の準備、または広い面積を素早くカバーする必要がある場合に使用する、オイルをベースにした新しいペイント・ツールです。
  • ミキシング・パレット - 色を別のミキシング・パレット・パネルに置いてから、キャンバスに乗せる前に混ぜたりなじませたりすることができます。ペイントにカラーピグメントを使用した場合、選択したピグメント(カドミウムイエロー、カドミウムレッド、プルシアンブルーなど)に応じてパレット内の色が混合されます。「伝統的なアート出身で、デジタルアーティストとしてプロとして活動している私にとって、Rebelleはそのギャップを完璧に埋めるものであり、他のプログラムでは到底捉えられないようなニュアンスを与えてくれるものです。ブラシスタイル、顔料充填、「ペイントを押す」感触のコントロールは他に類を見ないもので、Rebelleは私のプロフェッショナルツールキットの一部として常に存在し続けるものです。~ ウェスリー・ガードナー、イラストレーター、フリーランス・アーティスト
  • フルカラーペーパー - ペイント中にさらに自然な感じを得るために使用できる新しいタイプのペーパーである、3つの新しいフルカラーペーパーセットをお楽しみください。これらのペーパーはフルカラーで作成されているため、より多様で豊かな、より詳細なペーパー構造を楽しむことができます。これらのペーパーは、アドオンとして別途購入することができます。
  • 複数の参照画像 - Rebelle 5から1枚だけでなく、複数の画像をそれぞれ別の画像パネルに読み込むことができます。
  • ボリューム・プリセット - サイズ、不透明度、水、油分、圧力など、最も頻繁に使用するボリューム・パラメータを新しいパネルに保存できます。
  • カーブ・エディタ - 不透明度、ブラシ・サイズ、チップ・ティルト、ペイント・モード、およびブラシ・クリエータのその他の設定にカスタム・カーブを設定します。さらに、ペンの筆圧感度のカーブを修正することもできます。
  • 反転マスキング - マスキング機能の使い勝手が一段と向上しました。Rebelle 5では、マスキング液レイヤーの不透明または透明ピクセルを選択してマスクすることができます。
参考資料

Unreal LiveLink for Maya

MayaとUnrealの間でアニメーションデータを交換するための新しいライブリンクプラグイン「Unreal LiveLink for Maya」が公開されています。

もともとEpicGamesによって開発されたLiveLinkを、オートデスクと提携してツールの機能を拡張して、アーティストやスタジオのニーズをより適切に満たすように更新した物のようです。

https://apps.autodesk.com/MAYA/en/Detail/Index?id=3726213941804942083&appLang=en&os=Win64

 

概要

Unreal Live Link プラグインを使用すると、Maya から Unreal へアニメーション データをリアルタイムでストリーミングすることができます。
バーチャルプロダクション環境で 2 つのツール間で作業を行っている場合でも、次のゲームを作成している場合でも、Maya でキャラクタ アセットを処理し、変更を加えるとすぐに Unreal に反映されるプレビューを確認することができます。

 

主な機能

  • 簡素化されたインストール環境により、数分で使用開始することができます
  • 新しい合理的なインターフェイスにより、Unreal にストリーミングする Maya アセットを簡単に定義および管理することができます
  • ジョイント階層トランスフォームを接続することで、キャラクタ間のアニメーション ストリーミングを可能にします
  • ブレンドシェイプがサポートされているため、顔の表情やリップシンクなどのキャラクタの変更を行い、Unreal でその変更をコンテクストで確認することができます
  • トランスフォーム、画角、焦点距離、フィルム ゲート、カメラ アパーチャ、フィルム アスペクト比、被写界深度、フォーカス距離、fStop などのカメラ属性がサポートされています
  • 色、強度、コーン角、ペナンブラ角などの照明調整もサポートされています
  • シーンのタイムコードは、メタデータとして Unreal にストリーミングされるため、Maya と Unreal 間でプレイヘッドの同期をとることができます
  • バックバージョン対応により、Maya 2018からMaya 2022までプラグインを使用することができます

Live Link を使用して Unreal Engine 4 を Maya に接続する
https://docs.unrealengine.com/4.27/en-US/AnimatingObjects/SkeletalMeshAnimation/LiveLinkPlugin/ConnectingUnrealEngine4toMayawithLiveLink/

Unreal Live Link for Autodesk  Maya プラグインを使用する方法 (リンクが機能していないっぽい)
https://www.autodesk.com/unreal-livelink-docs

Maya ラーニング チャンネル
https://www.youtube.com/playlist?list=PL8hZ6hQCGHMWtAxA5TQAjgeWmZ9MeVRtF


参考資料

The Matrix is Unreal

先日公開された映画マトリックスを題材にしたUnreal Engine 5 のデモのインタビュー記事が公開されています。

車に人が反射してるなと思ってましたが、リアルタイムレイトレースだったんですね。ネオとトリニティが掛け合うシーンと、街のワイドショットがプリレンダーで他はリアルタイムらしいですが、車内の掛け合いがリアルタイムだったなら凄い。

https://www.fxguide.com/fxfeatured/the-matrix-is-unreal/

1999年、キム・リブレリはマトリックスのオリジナル映画でバレットタイムのスーパーバイザーを務めました。現在、彼はEpic GamesのCTOを務めており、彼とチームはマトリックスに帰ってきたところです。
UE5で示された技術的な進歩と新作「The Matrix Awakens」との驚くべき結びつきで、新しい技術デモAn Unreal Engine 5 Experienceが開始されました。この最先端のショーケースは、PlayStation5とXbox Series X/Sで無料でダウンロードできます。

この境界を越える技術デモは、WarnerBrosのThe Matrix Awakensの世界におけるオリジナルコンセプトピースです。ラナ・ウォシャウスキーが監督・脚本を手がけた、ウィットに富んだ巧妙なシネマティックです。キアヌ・リーブスとキャリー・アン・モスのデジタルバージョンが登場し、二人の俳優がスキャンされて複製され、1999年のネオとトリニティの役をそのまま再現しています。

編注:この体験は映画の一部ではなく、UE5 でできることを紹介するための技術デモです。

 

今週初め、チームにインタビューした際、シニアキャラクターアーティストのLana Lanは、「このプロジェクトは、UE5の進化、優れた芸術性と技術、そしてキャラクターに関する新しいスキャン技術の多くを表しています」とコメントしました。
Epicチームの目標は、新しく進化した技術をすべてテストして押し進め、UE5がクリエイターのために準備万端であることを本当に確認することでした。「学んだことの多くはツールに折り返されると思いますし、また来年にはこの多くをコンテンツサンプルとしてリリースする予定です」と付け加えています。

ゲーム機のダウンロードパッケージは約28ギガで、当初は国内のゲーム機で何ができるかをリアルタイムに見せるためのものです。その後、都市などのアセットパーツは、Epicのメインサイトからダウンロードできるようになり、デスクトップパソコンで探索できるようになる予定です。

 

このプロジェクトには、James McTeigue、Kym Barrett、John Gaeta、Jerome Platteaux、George Borshukov、Michael F Gayが参加し、SideFX、Evil Eye Pictures、The Coalition、WetaFX(旧称Weta Digital)などのパートナーやEpic Games全体のチームと共同しています。

ワコウスキー、リブレリ、ゲータの3人は、3部作の時代からの友人です。「私が Matrix の新作を作ることを彼らに告げると、Epic のサンドボックスで遊ぼうと提案されました」と Wachowski 氏は語ります。「そして、なんということでしょう、このサンドボックスは!」とWachowski氏は言います。

映像はプリレンダリングされた2つのショットを除き、すべてリアルタイムでレンダリングされています。ネオとトリニティが掛け合うシーンと、街のワイドショットの2つです。
これはデータが膨大なため、アセットの読み込みに時間がかかり、体験のテンポが崩れてしまうからです。これらのショット以外は、標準的なゲーム機でリアルタイムにレンダリングされます。

 

デジタルアクター

デモではキアヌ・リーブスとキャリー・アン・モスが、驚くほどリアルなデジタルヒューマンとして演技と肖像画を披露しています。これを実現するためにEpicの3Lateralチームは、Novi Sadのスタジオで俳優の顔の高忠実度3Dスキャンとパフォーマンスの4Dキャプチャを行いました。リーブズとモスはドイツにいたため、セルビアに飛び1日かけて顔と4Dスキャンを行いました。

「EpicのシニアテクニカルアーティストであるPete Sumanaseniは「このプロジェクトは本当にタフでした」CG のキアヌ・リーブスを、本物のキアヌと同じショットに登場させたのです。
ティーザー予告編が公開された直前の1週間、人々はデジタル キアヌを見ているのか、それとも実際の俳優を見ているのか混乱していましたが、ツイッターの驚くべき反応から判断すると、Epicチームは成功したのです。

今でも、人々は何度も映像を見て混乱しています。「初めて見る古いキアヌは、私たち(Epic)が撮影した彼のビデオ撮影でした」とPeteは説明します。「モーフィアスを追って戻ってきた後は、すべてCGバージョンです。同じに見えるように色調補正をしたんだ。
また、鏡に映った映像が見える箇所がありますが、これはUE5でコンプした本物のフィルム映像でした。モーフィアスの最初のショットもCGではなく、その後、若き日のトーマス・アンダーソン(ネオ)が登場するとCGになる。冒頭のアンダーソンが寝ている机のシーンも、オリジナル映画のシーンをリアルタイムに再現したものです。

 

Epicのチームは、さまざまな新しい技術をたくさん使いました。3Lateralチームは、さまざまなスキャンソリューションとシナリオを使用しました。彼らは7台のステレオペアのカメラを搭載したモバイル4Dスキャナーを使用し、このデータは特に価値のあるものであることが証明されました。
また、EpicのCubic Motonチームによって作られたHMC IIリグと、よりクラシックな交差偏光スキャンアレイも使用しました。特に、IO用にキャプチャされたダイアログに対してオフラインで実行されるポーズベースのソルバーを使用したそうです。

しかし、スキャンが進歩しても、CG素材やリグ、そして背景のキャラクターはすべて、現行のMetahumanの技術です。主な違いは、特定の衣装や髪が必要なことです。
例えば、IOは標準的なメタヒューマンの編み込みではない、複雑な髪の手入れをしています。ヘアについては、グルーミングを外部で行い、インポートしています。

オリジナルのミートマイクのプロジェクトに携わっていたアダムは、UEのヘアが時代とともにどのように変化してきたかを説明します。
「Digital Mikeの時はXgenを使用し、小さなジオメトリストリップをエンジンにインポートしました。それ以来、私たちはより良いワークフローとシステムを作るために多くの努力を払ってきました。今ではジオメトリストリップを持ち込むのではなく、スプラインを持ち込んで、そのガイドスパインヘアからヘアが作成されるようになっています。インポートされるとすべてのヘア ダイナミクスが Engine でリアルタイムに生成されます」

 

体験者の台詞はすべて、セルビア滞在時に録音された本人の声です。ほとんどの場合3Lateralのチームは、俳優が言ったセリフの一つひとつを4Dキャプチャーアレイで撮影しました。
メインの台本に加えて、俳優たちはROM(レンジ・オブ・モーション)を行いました。変更されたセリフもありましたが、その場合は機械学習プロセスで顔の動きを推測し、3Lateralのリグを駆動させました。

3Lateral Studioのリードテクニカルアニメーターのマルコ・ブルコヴィッチは「しかし、新しい4Dキャプチャ技術を使ってキャプチャされリファレンスされなかった、カメラの近くで配信されたセリフはありませんでした」と説明しています。

 

主役のキャラクターはルックデヴが多く行われましたが、通常の3Lateral Metahumansがベースになっています。「彼らは他のキャラクターと同じメタヒューマンのフレームワークに基づいており、すべてのLOD(詳細レベル)とすべてのフェイシャルコントロールを担当するシステムは、すべてのキャラクターで同じです」

例えばキャラクターの目は、角膜の膨らみと強膜への移行方法をより正確にモデル化するために、ベースモデルにいくつかの調整を加えた、すべてメタヒューマンの目です。
ベーススキャンはEpic GameのChris Evansの目をベースにしています。Lana Lan 氏は「眼球のさまざまな軸をすべて把握するために、眼科の論文のウサギの穴に入り込みました。チームは目のモデルを作り、それをクリスの目のスキャン画像と比較しました。そこから、キアヌとキャリー・アンの目を正確に表現できるように調整したのです」

 

キアヌのディージングの実現は、より困難なことのひとつでした。Epic Gamesのシニアキャラクターアーティスト、アダム・スカット氏。
キアヌがスキャンを受けるために3Lateralを訪れたとき、彼はメインユニットでの撮影を終えており、髭も剃っていました。しかし、57歳の俳優の若返りは、1999年当時の完璧なリファレンスがなかったため、複雑なものとなりました。「完璧なニュートラルポーズがなく、さらに1999年のユニバーサルキャプチャーを参考にしました」とアダムはコメントします。

オリジナルのマトリックスでは、主要な俳優たちはHDカメラをサイドマウント(9:16)して撮影されました。しかし、Sony F900sのISOの関係で、マルチカメラのパフォーマンスキャプチャーは非常に強い照明を使用していました。「彼は非常に暑く、明るい照明の下にいたので、目を細めていたと思うし、屋外のリファレンスもあったが、サングラスをかけていました」

衣装は実際にトリニティスーツを作ってもらい、モデルに着せました。その後、スキャンしてリファレンスしました。デジタル衣装は、アダム・スカットが担当しました。
「また、ワーナー・ブラザーズから大量のアーカイブを入手し、オリジナル映画のキャリー・アン・モスのリファレンスも用意しました。このリファレンスを使って、Marvelous Designerで彼女の服を作りました」

 

 

メタヒューマン クリエイター

オープンワールドの都市環境には、『MetaHuman Creator』の発売当初に2人いたローンチキャラクターのうちの1人である主人公のIOが登場します。

エクスペリエンスの制作にあたっては、CPU、グラフィックス、パフォーマンスの予算がありました。例えば、CGキャラクターが白地にいるときは背景がないため「レイトレースされたエリアライトをより多く使うことができました」とピートは振り返る。

「一方、車に乗り込むときは、複雑な背景のためにバッジェットを割かなければならなかったので、ライトの数を減らさなければならなかったのです。プロジェクト開始当初は15fpsで動作していましたが、最適化されるにつれてフレームレートが急速に上がりました。4Kテクスチャを多用し、ジオメトリを多用し、Lumenを使い、それ自体にコストがかかり、太陽光のための新しいシャドウマップ技術を使い、もともとすべての限界に挑戦していたのです」

ただし、最終的なエクスペリエンスは、PS5またはXBoxシリーズX / Sで実行されているゲームで何が可能かを示しており、ゲームデザイナーがゲームの通常のメカニズムを実行できるようにするCPUヘッドルームがまだたくさんあります。チームは新しいAAAゲームで実現できることに対して非現実的なデモを作成することを望んでいませんでした。

 

 

ワールドビルディング

サンプルプロジェクトのValleyof the Ancientが、UE5で利用可能な新しいテクノロジーのいくつかを垣間見せたところ、The Matrix Awakens:Unreal Engine5 Experienceは、インタラクティブなデモゲームであり、誰でもリアルタイムで実行できるエクスペリエンスであるため、さらに一歩進んでいます。

すぐにダウンロードしてください。 体験はカットシーン、最初のシューティングゲームのデモセクションで構成され、最後にユーザーは探索できる都市があります。

デモのアクションシーンの多くは、エキサイティングなショットをキャプチャするために街中を車で運転する乗組員から始まりました。 チームはシミュレートされた宇宙を使用して、実写映画製作者が都市を偵察してストーリーを伝えるのに最適な通りを見つけるなど、映画のコンテンツを作成することができました。

テクニカルデモでは、以前に紹介されたUE5の機能であるNaniteとLumenも展示されています。 インタラクティブな追跡シーケンスの後、ユーザーはUE5の仮想化されたマイクロポリゴンジオメトリシステムを使用して、密集したオープンワールドの都市環境を歩き回ることができます。

260 kmの道路、512 kmの歩道、1,248の交差点、27,848のランプポスト、12,422のマンホールが、実際のロサンゼルスのダウンタウンよりもわずかに大きい仮想世界にあります。
さらに、街をドライブしたり歩き回ったりすると、35,000人のメタヒューマンが日常業務を行っているところを通り過ぎることができます。

「確かに、私たちに最も近いものが実際のメタヒューマンであり、遠くにあるものは、メタヒューマンから生成された頂点アニメーションの静的メッシュであるという近接性があります」とLanaLan氏は説明します。

建物は法線マップではなく、Naniteの何十億ものトライアングルでできているため、非常に精細です。 建物にはすべてのディテールが組み込まれているため、ユーザーは任意の建物まで歩いて行き、完全にディテールになっていることを確認できます。

「ジオメトリに含まれるものはすべてモデル化されており、法線マップではありません。 高解像度モデルです」とラナは言います。 平均ポリゴン数は7000kで、建物は1000のアセットで構成されており、各アセットは最大で数百万のポリゴンになる可能性があるため、都市の建物だけを構成する数十億のポリゴンがあります。

街には、ナンバープレートから主要な開発者のショップまで、イースターエッグが用意されています。ラナは宝石店、ピートは何を売っているのか忘れてしまったのです!結局、この街は幅4,138km、長さ4.968kmもあるので、迷子になるのは簡単です。

 

ライティング

Unreal Engine 5 の完全ダイナミック グローバル イルミネーション システム Lumen は、リアルタイム レイトレーシングを活用して、デモのインタラクティブな部分全体でリアルな照明と反射を実現します。
リアルタイム レイトレーシングは、シネマティックな要素にも使用され、キャラクターの美しくリアルなソフトシャドウを生成しています。

ワールド全体の照明は、メッシュ上の太陽、空、放射性マテリアルのみで行われています。数万個ある街灯やヘッドライトの光源は配置していません。夜間モードでは、ほぼすべての照明が、数百万個の発光する建物の窓から照らされています。

このプロジェクトは1年以上前に始まり、60人から100人ほどのアーティストが参加し、多くはリモートで作業していた巨大なものでした。 マトリックスの覚醒 An Unreal Engine 5 Experience はゲームではありませんし、今後ゲームとしてリリースされることもありませんが、この技術デモは、インタラクティブ コンテンツの将来像を示すものであり、最先端のコンソール向けビジュアルの水準を示すものとなっています。

「キアヌ、キャリー、そして私は、このデモの制作をとても楽しみました。Epicのサンドボックスは、実験と大きな夢が大好きな彼らにとって、かなり特別なものです。シネマティック・ストーリーテリングの未来がどうであれ、Epicはその進化に少なからず貢献してくれるでしょう」

この新しい体験の舞台となるのは、広大で探索可能なオープンワールドの都市で、豊かで複雑な世界です。16キロメートル四方のフォトリアルで素早く移動できるこの街には、リアルな住民や交通機関が存在します。

参考資料

The Matrix Awakens: An Unreal Engine 5 Experience

映画マトリックスを題材にしたUnreal Engine 5 のデモがPSStoreで無料公開されています。ゲームっぽい技術デモとしてイベントシーンのガンシューティングとオープンワールド的な街の散策が楽しめます。

下のビデにある冒頭のカーチェイス部分が実写さながらで凄い。街中を歩くモードでは反射や遠くの建物がチラついてゲームだなとわかる感じですが、街がまるごと再現されてて物量が凄いです。コンフィグでカメラの設定いじったり、フィルターや時間を変更したり色々楽しめます。

https://store.playstation.com/ja-jp/product/UP1477-PPSA05753_00-MATRIXUNREALDEMO

参考資料

A Future Begins

農業に関するストップモーションアニメーション、雰囲気がいいです。