PixarのUSDパイプライン

PixarがパイプラインでUSDをどのように使用するかについて、簡単な入門記事が公開されています。https://renderman.pixar.com/stories/pixars-usd-pipeline

USDはこのところ注目されいる技術で、Houdini、Maya、3dsMax、Foundryが対応中、または対応を検討しているシーングラフライブラリです。AppleがiOS 12でUSDZにネイティブに対応したことで、一般の人にも知られるフォーマットとなっています。

日本語で解説してくれてる人もいるので、もう少し技術的な話は他の記事を読むといいかもしれません。
https://fereria.github.io/reincarnation_tech/11_Pipeline/01_USD/02_whats_USD/

PixarのUSDパイプライン/簡素化された複雑さ

1兆ポリゴンを超える世界を誇るトイストーリー4は、これまでPixarの最も複雑な映画です。継続的なレンダリングの革新とデータ管理の進歩のおかげで、Pixarのテクニカルアーティストは、この創造的で複雑な新しいビジョンを実現することができました。PixarのUniversal Scene Descriptionはこれらのワークフローの最前線にあり、映画制作のパイプラインを今日のようなものに変えました。

あなたが尋ねるパイプラインとは何ですか？簡単に言えば、複雑なプロセスを予測可能かつ信頼性の高いものにするツールのセットです。
次の図は従来のパイプラインの概要を示しています。部門はリニアにコラボレーションを行って最終フレームに到達します。つまり、前の部門が作業を完了するのを待ってからでないと、作業を進めることができません。たとえばキャラクタモデルが存在しないとアニメーションを開始できません。

標準のPixarパイプライン

Pixarは部門間のアーティストコラボレーションのためのツールを作成してきた長い歴史があり、USDは数十年にわたる経験の進化です。こうした新しいアセットパイプラインツールのおかげで、部門間のチームワークがPixarでの働き方を変え続けています。

なぜでしょう? えーと「時間は金なり」であり、非破壊的な方法で部門間のコラボレーションを促進する予測可能なツールセットに依存することが、長編映画製作の締め切りを達成するための基本です。

...私のお気に入りのアプリケーションは、すでに私の問題を解決していませんか？
もちろん、そのアプリケーション内にとどまる場合でも、Pixarのイノベーションは私たちにとって非常に重要であり、各部門がニーズに合った最適なツールを選択できるようにしています。このことを念頭に置いて、USDはすべての部門の作業を邪魔することなく記述するためのクリーンで堅牢な交換フォーマットとして機能します。これにはモデル、アニメーション、マテリアル、ライト、カメラ、その他の一般的な生産環境で必要なものが含まれます。

このような交換フォーマットを使用すると、コラボレーションが非常に予測可能になり、アーティストがデータ管理ではなくクリエイティブな作業に集中できるようになります。このように分離することで、他の部門に影響を与えることなく継続的なイノベーションをUSDで予測できるようになります。

このコラボレーションを部門別に分類してみましょう。

ステージングとレイアウト

Pixarでは、USDワークフローが世界を構築プロセスに革命をもたらしています。フォーマットの効率性のおかげで私たちはより複雑な世界を創造し、アクセスすることができ、同時に古い技術では不可能なほど遅くなっていた方法でそれらを可視化することができます。USDのHydraを使用すると、アーティストはテクスチャ、マテリアル、ライトのOpenGL近似をプロセスに追加しながら、以前よりもはるかに速く自分の世界と対話することができます。

初期のlook-devは、より良い最終フレームを意味します。

これにより、パイプラインの早い段階で映画の美観を実現できます。これまではパイプラインの後の段階で行われていた承認プロセスが容易になりました。ストレスが減りましたね。
他の部門の邪魔にはならないのか? えーと...。これはUSDの美しさであり、非破壊的です!このレイヤシステムはPhotoshopと同じようにデータを扱い、個々にスタックされた操作のセットで、データに影響を与えずにオン/オフを切り替えることができます。
シーンレイアウトの構築中にマスターライティングの進行状況を確認しますか? わかりやすいように、レイヤをオンにするだけでわかりやすくなります。

USDレイヤー

アセットとシェーディング

USDの「バリアント」システムのおかげで、RenderManは形状、シェーディング、テクスチャリングなどの違いを含め、特定のオブジェクトに対して任意の数のバージョンを呼び出すことができます。
Toy Story 4では、ピクサーがアセットごとに複数のバリアントを作成し、アーティストがショットを完全に制御できるようにしました。これはまた、USDのインスタンスの優れた特長を使用することで、より少ない労力でより多くのことができることを意味しました。つまり、シェーディングやテクスチャリングのわずかな変更は、メモリに読み込まれたジオメトリに影響を与える必要がなく、この限られたリソースを効率的に管理できます。

USDの「バリアント」システムのおかげで、RenderManはシェイプ、シェーディング、テクスチャリングなどの違いを含む、任意の数のバージョンを特定のオブジェクトに対して呼び出すことができます。
Toy Story4では、Pixarは各アセットに対して複数のバリアントを作成し、アーティストがショットを完全にコントロールできるようにしました。これはまた、USDのインスタンスの優れた特長を使用することで、より少ないリソースでより多くの成果を上げることができることを意味しています。つまり、シェーディングやテクスチャを少し変更しても、メモリにロードされているジオメトリには影響しないため、限られたリソースを効率的に管理できます。

USDバリアント

例えば、アンティーク倉庫にはUSDのバリアントのおかげでずっと少ない金額から作成された何千ものアセットがあり、他の方法では不可能だったより豊かで効率的な世界を作り出しています。

たとえば、あるショットの作業中にアートディレクターがフレーム内の主要なカラーを変更したい場合、他のアーティストに影響を与えるシーケンス全体を変更する必要はなく、異なるカラーの本棚や椅子のセットを選択するだけで、ショットに合った雰囲気を作成できます。その特定のアセットで使用可能なバリアントを調べるだけで完成です。新しいアセット!

USDにはマテリアル定義を含めることができるため、Pixarの独自のシェーディングツールとFoundryのMariのような商用のテクスチャリングアプリケーションとのコラボレーションが可能です。データ管理を気にすることなく各部門の強みを活用できます。
当社の内部シェーディングシステムには市販のツールと若干異なるため、RenderManは一歩進んで、Pixar Surface MaterialのMari近似を使用して出荷されるようになりました。これにより、アーティストはテクスチャ処理中により大きなシェーディングコンテキストを得ることができます。

RenderManはMari Pixar Surface近似シェーダーを出荷するようになりました。

ロジスティックスの管理を支援するためにPixarは内部ツールを開発し、USDやそれ以上のすべての変換と追跡プロセスに対応し、アーティストが自分のアセットを簡単に管理できるようにした。このようなツールの構築は簡単ではありませんが、単一の一貫したUSD APIとシーングラフ、およびシーンデータの読み取り、書き込み、編集のための豊富なツールセットのおかげで、予測しやすく、外部パイプラインにアクセスできます。

シーンデータといえば...。アンティーク倉庫にはPixar BallやRed's Dreamの自転車など、Pixarの映画の1000以上のアセットがありますが、全部見つけることができますか?

ピクサーのすべてのイースターエッグを見つけられますか？

アニメーション

私たちのアニメーションソフトウェアPrestoは、最終的に洗練されUSDになる概念を中心に設計されました。私たちのアニメーションソフトウェアPrestoは、最終的にUSDになるために洗練され、抽出されるコンセプトを中心に設計されました。それを使用した最初の長編映画はBraveで、10年間のコードの革新と安定化をもたらしました。こうした取り組みは、Pixarのオープンソース構想の一環として誰でも利用できます。これはOpenSubdiv、OpenTimelineIO、OpenUSDなど、多くの研究プロジェクトが一般公開されています。

アニメーションパイプライン

USDの最も強力な機能の1つは、複雑なデータセットをロードして、低いメモリフットプリントでストリームできることです。これはアニメータのインタラクティブ性が向上し、周囲のシーンのコンテキストが向上することを意味します。
たとえば、キャラクタアーティストはリアルタイムでヘアーを操作およびプレビューできるため、キャラクターのパフォーマンスをより正確に判断できます。これにより反復できる作業量が大幅に増加し、キャラクターのパフォーマンスをより強力にサポートしながら、より洗練されたショットとシーケンスが生成されます。

USDは大量のデータストリーミングの高速再生を提供します。

これらの進歩はUSDのバックエンドとフロントエンドのイメージングフレームワークであるHydraと、PixarのオープンソースのメッシュレンダリングプロジェクトであるOpenSubdivの両方が連携して、複雑なシーンデータを最高のスピードと忠実度で表現することで可能になりました。
大規模なデータセットを簡単に視覚化して簡単なバージョンのアセットを操作したり、USDの高速キャッシュシステムを利用してリアルタイムで再生したり、準備ができたら、影響の大きいシーンの変更を容易にするためのUSD中心のアプローチを変更「スキーマ」してプロダクション品質のアセットに戻すことができるなど、群衆部門はこれらのパイプラインの進歩からも大きなメリットを得ています。

USDの「スキーマ」は群衆に非常に役立ちます。

ライティング

USDで重要なのは、ビューポートのレンダリングデリゲート間(この例ではOpenGLとRenderMan) を動的に切り替える機能です。これは制作の初期段階でのライティングの近似精度が向上することを意味します。これによりシネマトグラファーとディレクターは可能な限り正確なフィードバックを得ることができるため、アーティストはレイアウト部門との基本的な色や演出上の違いを気にするのではなく、自分のショットを磨きクリエイティブにすることを心配することができます。

信じられないほどの撮影

レンダリング

最終的なレンダリングフレームは、通常カラータイミングと編集に移る前のパイプラインの最後のステップに関連付けられていますが、USDやHydraの高度な機能のおかげでRenderManはピクセルをはるかに前にレンダリングできるようになり、多くの部署が作業の視覚的なコンテキストを改善するのに役立ちます。

最初にパイプラインチャートを覚えていますか?これはUSDとRenderManがやり取りする部門の数です。とてもすてき!

USDとRenderManはパイプラインの多くの段階に参加しています。

制作中の忠実度が高いということは、被写界深度、モーションブラー、シャドウなど、最終フレームレンダリング用に一般的に指定されている複雑なエフェクトをリアルタイムでプレビューできることを意味します。Pixarではレンダリングされたピクセルをできる限りそのままにしておき、不要なピクセルのフィルタリングとそれに続く後処理中のイメージの劣化を回避することに重点を置いているため、レンダリング時の近似効果は基本的なものです。これはピクセルの忠実度が重要であるステレオなどの部門にとって重要です。

SDViewは、複雑なUSDデータをストリーミングし、Hydraを介してRenderManでレンダリングできます。

USDディストリビューションにはUSDViewのようなツールがあり、ASCII(usda)、バイナリ(usd)、archive(usdz)など、あらゆる種類のUSDファイルをロードできます。レンダーデリゲートをRenderManに切り替えて、ライトコンテキストでショットまたはアセットを表示するだけです。これらすべての共同ワークフローは最終的なフレームを改善し、すべてのユーザーに各自の作業のコンテキストをより適切に提供するため、フィードバックセッション(デイリーと呼ばれるもの)の精度と生産性が向上します。

これが私たちが話した1兆ポリゴンのショットです。詳細はUSDのおかげで1本の松ぼっくりの針までです。

兆ポリショット！

どうすればUSDを手に入れることができますか？

Houdini

RenderManはPixarのUSD形式をサポートするリーダーシップの役割を果たしました。USDのHydraのイメージングプラグインであるhdPrmanを出荷するとともに、SidefxのHoudini 18とルックデベロップメント用の革新的なSolarisツールセットをサポートしています。

Maya

USDのオープンソース活動のおかげで、Pixarは何年もVFXや長編アニメーションの世界に影響を与えてきました。Luma PicturesやAnimal Logicのようなスタジオはそれを採用しただけでなく、すべてのユーザに利益をもたらす重要なフィードバックと開発リソースを与えました。これらのプラグイン開発の取り組みはAutodesk Mayaで間もなく展開される予定で、USDエコシステムをこれまで以上に堅牢なものにします。