参考資料

The Third FloorがUnreal Engineを使用したスタイライズドアニメーションに進出するとの記事が公開されています。

https://www.fxguide.com/quicktakes/the-third-floor-move-into-stylized-animation/

大手ビジュアライゼーション・スタジオのThe Third Floor（TTF）は、ゲームエンジン技術を利用したハリウッドレベルの様式化されたアニメーション・コンテンツの制作に着手することを発表しています。
同社は、Maya や Houdini などの従来のツールを使用しながら、主に Unreal Engine でのコンポジットとレンダリングを目的とした新しいパイプラインで、ショートデモを開発しました。

The Third Floor の共同設立者兼チーフ クリエイティブ オフィサーの Josh Wassung 氏に、この新しい動きと技術について話を聞きました。
UE4/UE5で仕上げることを目的としていますが、パイプラインは、レイヤーとAOVをFoundry Nukeで仕上げるのと同じように簡単にエクスポートできるように確立されています。ただ、番組によって異なります。パイプラインは、同じアセットとマテリアルで、完成したアニメーション映画、VR体験、またはインタラクティブなプロモーションを制作できるように構築されています。

同社は長年にわたり、撮影やレンダリングの前にシーンをプリビジュアライズするシネマティック・ツールを開発してきました。TTFは、このような初期の視覚的な実験や探求を、映画品質の完成されたアニメーション映画やテレビ番組に変換するプラットフォームを開発しました。ストーリーテラーやディレクターは、TTFのツールを使って、ストーリーボードのようなプリビジュアライゼーションを開発し、共同作業によってそのドラフトを改良し、4K Dolby Visionの完成品シーケンスにすることができるようになったのです。

Skytribeのショートデモは、これまで手作業で丹念に描かれ、オフラインのコンピュータで1フレームずつレンダリングされていたものと見分けがつかないほどです。

リアルタイム ゲーム エンジンの使用には、反復のスピード、インタラクティブ性、そしてレンダリング品質の向上など、多くの利点がありますが、Josh Wassung 氏は「当社の 30 のパイプライン プロジェクトの半分以上は、現在 Unreal Engine を使用しています」しかし、ハイエンドなゲームワークフローのニーズは、映画やシナリオのパイプラインとは重要な部分でかなり異なるため、TTF は Unreal を中心とした構造を拡張して構築する必要がありました。

映画の撮影準備では、ショットをカメラに着せます。映画の現実はショットごとのごまかしがたくさんある。椅子は長いレンズのショットの前景で持ち上げられた方がよく見えるかもしれません。現実世界ではクルーがその下にリンゴ箱を置くかもしれませんが、3Dでは地面から浮いているかもしれません。もちろん、マッチングされたワイドショットでは、このトリックは取り除かれ、視覚的な連続性があるように見える限り観客は何も気にしません。
それに対してゲームのパイプラインでは、世界を構築し、その中をプレイヤーが移動するのが一般的です。小道具はある視点から見たときに、魔法のように位置が変わるわけではありません。そのためTTFではデジタルシーンのスナップショットだけでなく、ショットごと、さらにはテイクごとの撮影を可能にするショット固有のツールやメタデータを開発する必要がありました。
監督は複数のテイクをバリエーションとして撮影し、いつでも以前のバージョンに戻せるようにすることができます。テイクを再読み込みする際には、たとえ後のテイクでアセットが変更されたとしても、その前にあったものと正確に一致させなければならない。

ほかにもいろいろな例があります。TTFは完全に再現可能なパイプラインを提供する必要があります。Josh Wassung氏は過去にゲームエンジンがリアルタイム性能を実現するために、微妙にアスペクトを変更するプロジェクトを経験したことがある。
「あるプロジェクトは素晴らしいものでしたが、通常の3Dアニメーションから来た私には理解不能でした。「アニメーターがキャラクターの足を特定のオブジェクトに乗せると、後で再生したときに足があるときとないときがあるんです。これは、エンジンが本当に重いシーンを最適化しようとしていたためです。数年前のことですが、本当に重いシーンでした。

その他、非リアルタイムの高品質なレンダリングができるなど、カットシーンやマーケティング資料を制作するためのエンジンではすでに広くサポートされています。しかし、TTFは後のNukeコンポジット（複雑なパスやAOVを含む）のために複数のパスをレンダリングしたり、ARやVRなど幅広いメディアオプションに適用するために再利用できる新しいアニメーションツールも構築しています。
ストーリー性のあるアニメーションの場合、レンダリングはすべてUnrealで行われますが、場合によっては一部の作業がNukeで外部的にコンポジットされることがあります。

新しいアニメーションツールはこのようなTTF映画製作のコアとなるゲーム技術を多く受け継ぐ一方で、ルックデヴや特に絵画的効果のための複雑なアニメーション専用ツールも開発されているのです。その好例が、キャラクターの顔のシェーディングです。カメラや光源に対する頭の角度によって変化し、かつ伝統的なメディアの絵画的な側面も取り入れているのです。
「私たちにとって重要なことのひとつは、顔の上で交換可能なアーティスティックなスタイルをどう実現するかということでした」とジョシュは説明します。「ダイナミックな照明とブレンドするための"ペイントオン照明"をいかに得るか」これらはTTFがエンジンを使って開発し、すでに素晴らしい既存のビジュアライゼーションの武器に追加した、より芸術的なツールの一部です。

TTFチームは『イントゥ・ザ・スパイダーバース』のような、実写と手描きの世界を融合させたスタイリッシュなアニメーションを制作したパイオニアとして、早くからその功績を称えています。技術的にはこれを実現するために、Maya の作業を UE4 とシームレスに行き来できるライブ リンクなどのツールを構築する必要がありました。チームは柔軟に対応しますが、Maya でアニメーションを制作し、アニメーション キャッシュを UE4 にインポートすることが多いそうです。また、強力なラウンドトリップツールを開発し、エンジン内で行われたカメラブロックや編集からの自動アップデートをフィードバックできるようにしました。
「シーン記述と呼ばれるものがあります」と彼は説明します。「私たちは、システムが同期し、エンジンにあるアセットを公開するための独自のコードを書きました。レンダリングするたびに、Mayaで完全に同期されたバージョンが作成されます。「同様のことは、Houdini のエフェクトにも対応しますが、TTF は非常に直感的で触感的なエフェクトのために Engine にインポートされる手描き要素にも同様に対応しています。

この新しい最終品質出力パイプラインは、バーチャル・プロダクションにおける TTF の作業への情報提供であると同時に、The Mandalorian のために開発した技術を基に構築されたものです。同社はすでにバーチャルアートデパートメント（VAD）に積極的に取り組んでおり、プロセスを通じてアセットを多様に変化させることができます。ポストプロダクションで2バージョン作るより、プリビズで200バージョン作る方が安上がりで簡単だという考えから、同社は設立されたのです。TTFの文化は変化と実験を奨励することです。しかし、多くの長編アニメーションの現実は、3回の修正というルールである。
「クライアントやアニメーションのディレクターと話をすると、彼らが一番に感じる制約、そして共通の不満は、3回のノートのみということでした」とジョシュは言います。私たちは "変化としての視覚化 "を重視しており、この哲学をアニメーションに取り入れたいと考えています。私たちは、クライアントを3回の修正で終わらせたくありません。私たちは、"ちょっと、この期間だけ "と言いたいのです。私たちは何でも変更することができます。あなたが望むだけ変更したいのです」と言いたいのです。そして、できるだけ早い段階で、高品質のステージに到達できるようにしたいのです」。