Composite

参考資料

Nukeのディープコンポジット用プラグイン「DeepC」

Nuke用のディープコンポ用プラグイン「DeepC」が公開されています。現在10個の独立したプラグインで構成されており、すべてNukeの内蔵ツールよりもディープコンポジットプロセスをより細かく制御できるように設計されています。
大規模なスタジオでは似たツールがあると思うけど、DeepCはオープンソースプロジェクトで、中小規模のスタジオでも利用できるとのこと。
https://github.com/charlesangus/DeepC

Examples

Base Image

 

DeepCPMatte and DeepCGrade

 

Flat Masks and DeepCGrade

 

DeepCPNoise and DeepCPMatte

 

DeepCPNoise in 4D

参考資料

KandaoのAIを使用したスーパースローモーション変換

中国のカメラメーカー Kandaoが機械学習システムを使用して、30fpsの通常のビデオを最大300fpsの超スローモーションに変換できる「AIスローモーション」と呼ばれる新機能を発表しています。
この機能は360 / VRカメラであるObsidianとQooCamに適用され、どちらも高品質のスローモーションを作成できるカメラにアップグレードされる。
https://www.kandaovr.com/2019/04/09/kandao-cameras-use-ai-to-turn-normal-video-into-300fps-super-slow-motion/

新機能を使用すると、ユーザーは撮影後にフッテージを最大10倍のスローモーションできます。たとえば、元々8K 30fpsでキャプチャされた360度ビデオは8Kで240fpsのスローモーションに変換でき、4K 60fpsのビデオは4K 480fpsでエクスポートできます。

CG News

Nuke Point Render

Nuke用のポイントレンダリングエンジンがリリースされてます。価格はシングルライセンス€30、サイトライセンス€200。
https://higx.net/point_render/

フルスイート

ポイントレンダリングには、ジェネレータ、モディファイヤ、シェーダ、ユーティリティなどの一連のノードが付属してい ます。それらは複雑なルックスを思いつくことを容易にし、そしてその最終的なルックスを決めるために素早く繰り返す。

 

ワンピクセル

「ポイントレンダリング」という名前は、それが1ピクセルサイズのアダプティブ ポイントを描画するという事実に由来しています。画面を埋めるにはたくさんのポイントが必要ですが、ポイントレンダリングでは何百万というポイントをインタラクティブな速度で簡単に処理できます。システムRAMが唯一の制限事項です。

ネイティブノードのみ

ネイティブのニュークノードのみを使用して作成されています。これはアップデートを必要とせずに、今後あらゆるバージョンのnukeで動作することを意味します。

 

オープンソース

すべてのBlink Scriptノードは、必要に応じて探索、学習、および変更できるように開いたままになっています。

 

CG News

Flame 2020

AutodeskがNAB2019でFlame 2020を発売するそうです。新機能として機械学習を使用して、静止画像や動画の分析に基づいてモーションベクター、Z深度、3D法線の抽出が可能になるそうです。
https://www.fxguide.com/quicktakes/flame-embraces-deep-learning/

Z深度マップジェネレータ

 

人間の顔法線マップジェネレータ

 

CG News

After Effects CC 16.1 リリース

After Effects CC 16.1がリリースされました。目玉機能はAdobe Senseiエンジンを使用した「コンテンツに応じた塗りつぶし」、動画から人やカンバンを自動で消すことが出来る機能です。面白そう!
https://www.adobe.com/products/aftereffects/features.html

ビデオ向けコンテンツに応じた塗りつぶし

ブームマイクから看板、人まで、不要なオブジェクトをクリップから簡単に完全除去できます。Adobe Senseiエンジンによるコンテンツに応じた塗りがクリップ全体に適用されるため、フレームごとにオブジェクトの消去や置換を繰り返す手間と時間を大幅に節約できます。

 

エクスプレッションエディター

新しいエクスプレッションエディターには、行番号、ペアの波括弧のハイライト表示、コードの折り畳み機能があり、エクスプレッションの記述が簡単にできます。

パフォーマンスの強化

ラフエッジ、色を変更など、GPU高速処理対応エフェクトの種類が増えました。16-bpc、32-bpc両方のカラーをサポート。

ガイドを保存してPremiere Proのエディターと共有

ガイド設定の読み込みと保存により、新規プロジェクトでの再利用やPremiere Proのエディターと共有して相手のシーケンスのパラメーターを設定できます。

フォントの自動同期

別のマシンまたは別のプロジェクトに切り替える際、環境に無いフォントは、Adobe Fontsにあれば自動的に同期されます。

幅広いフォーマットのサポート

REDのデベイヤー処理がmacOSのMercury GPU高速処理(Metal)に対応しました。Sony VENICE X-OCNの映像素材の読み込みができます。

その他

フレームブレンドとモーションブラーを自動的に有効にし、旧エクスプレッションを新しいJavaScriptエクスプレッションエンジンと新スクリプトに容易に更新できます。

参考資料

機械学習を使用してマット生成「Rotobot」

機械学習を使用してマットを作成するOpenFX プラグイン「Rotobot」の記事。品質はまだまだみたいだけど、こういう方向の機械学習の使い方は好き。

https://www.fxguide.com/quicktakes/rotobot-bringing-machine-learning-to-roto/

Rotobotは人や車などのオブジェクトの「セマンティック」クラスに属するピクセルのインスタンスを分離することができます。これは反復畳み込みニューラルネットワーク(CNN)を使用してイメージを分析することによって、81カテゴリを分離することができます。これらのカテゴリごとに最大100個のインスタンスを一度に分離することができます。これはVFXにとって便利です。素早く汚いホールドアウトマットを生成するための素早いツールがあることを意味します。

 

 

 

このプログラムは超高速で粗いものからより洗練されたものまで、さまざまな品質レベルで設計されています。Rotobotによって達成されるロトの品質は、フレーム間でちらつく傾向があるので時間的に安定していません。これはフレームごとのソリューションを生成するので、編集可能なスプラインがなくなるため修正や作業を続けることができません。Kognatは結果の忠実度をはるかに高い基準に高めるよう努めています。

似た技術だとAdobeのFASTMASKがあるけど、Adobeのは対象の数が限定されてそう。こういう作業的な物はAIに頑張って欲しいですね。

Tips

AEでアニメ風の波打ちぎわの作り方

水着回に欠かせないアニメ風の「波打ちぎわ」の作り方について書いてみたいと思います。

海の記号としてよく見る気がしますが、それほど重要な要素でないためかアップのカット以外では止め絵が多いように思います。最近だと「ISLAND」の波がいい感じでしたね。
CGはじめたての頃は動く波打ちぎわを作りたかったけど難しかった気がするので、こんな感じで作るとこんな絵になるよ。という感じの参考になればいいなと思います。

波打ちぎわの作る工程は大まかに3工程です。

  1. 波打ちぎわの素材を作る(白波の素材、波で砂浜がぬれる素材、波のマスク素材)
  2. 波のように動かす
  3.  波を配置する

それでは行程ごとに解説してみたいと思います。

 

波打ちぎわの素材を作る

波打ちぎわの要素、素材を作ります。
波打ちぎわを絵として思い浮かべたとき、構成する要素として欲しいのは以下の4種類くらいでしょうか。欲しい表現によってもっと多くなると思います。

  • 白波
  • 波で砂浜がぬれる
  • 波のマスク素材
  • 背景 (砂浜。海)

それでは要素をAfterEffectsで作っていきます。

 

白波1

よせては返す白波を作ります。

適当に平面を作成して水平にパーティクルを発生させます。パーティクルは「Particular」を使用しています。EmitterのTypeは横長のBoxで、Size Over Life と Opacity Over Life で時間経過と共にパーティクルを小さくして消しています。波全体の消え方を制御するためにパーティクルの数と、サイズにキーを設定してます。
パーティクルはGravityで下に落ちる単純な設定ですが、PhysicsのTurbulence FieldのOffsetにキーを設定して波っぽい揺らぎを加えてます。

後の工程で波の移動アニメーションを6秒にしたので、2秒15フレを中心にキーを設定しています。ちなみに緑色の部分は透明で、コンポジッションの背景色です。

念のためParticularの変更したパラメータも乗せておきます。パーティクルがそれっぽく見えるかはレイヤーの移動距離など相対的ものなので、シーンの作りに応じて調整する必要があります。
AfterEffectsはレイヤー選択して U キー2回押すと、デフォルト値から変更されたパラメータだけ表示できて便利です。

 

ちなみにエミッターの位置をアニメーションする方法も試したましたが、白波の密度が薄くなってしまうのと、引き波の動きがレイヤーを移動した方が好みの感じに仕上げることができました。

 

白波2

手描きの波にあるような記号的な白波も作ります。

平面に「タービュレントノイズ」を適用して、フラクタルの種類を「にじみ」にして微調整します。「展開」にキーを設定してノイズをアニメーションさせます。次に「レベル」を適用してコントラストを上げて線のように設定します。ヒストグラムにキーを設定して線の幅をアニメーションさせています。
色の白い部分以外は透明にしたいので、ノイズレイヤーの下に白平面を作成して「ルミナンスキー マッド」に設定します。最後にマスクを使用して上から下にかけて透明になるようにしました。

 

白波3

白波1と白波2を使用して波が動くアニメーションを作成します。

白波の素材の上に「調整レイヤー」を追加し「メッシュワープ」でアニメーションします。メッシュを波っぽくギザギザにしてしますが、アニメーションの途中で直線的になりすぎない方がいい感じに仕上がると思います。
白波2にはマスクを追加して、波模様があらわれるタイミングを調節しています。

 

波で砂浜がぬれる

砂浜がぬれたとき用の素材を作ります。

黒い平面を作成して 白波3で作った「メッシュワープ」のアニメーション設定済みの「調整レイヤー」をコピーします。
砂浜のぬれた感じをだすために「ブラー (滑らか) 」で少しぼかします。
レイヤーは「不透明度」をアニメーションさせて徐々に透明にします。砂がぬれた後に、水が浸透してちょっと乾いて見せるためです。

 

波のマスク素材

波に水の色をつけるためのマスク素材を作ります。

黒い平面を作成して 白波3で作った「メッシュワープ」のアニメーション設定済みの「調整レイヤー」をコピーします。
水の深さをだすために「ブラー (滑らか) 」で大きめにぼかします。ブラーを大きめに設定したぶん、レイヤーの位置を下にずらします。

 

波を動かす

波打ちぎわの素材をアニメーションさせます。

波のアニメーション

寄せ波と引き波のアニメーションを設定します。

白波3のコンポジッションの「位置」を上下に移動するようにキーを設定します。波の振幅は全体で6秒。0~2.15秒で波がピークに達し、残り3.15秒で波がゆっくり引いていくアニメーションにしました。キーはイージーイーズを使ってイーズイン/イーズアウトするようにしています。
波をリピートさせたいので、アニメーションを設定したレイヤーを複製して、波が連続して見えるようにレイヤーの再生タイミングをオフセットします。

今回は波の素材が1種類のため昔のゲーム(ICOとかの時代)のように波がクロスフェードするような設定にしていますが、実際に波を観察すると「寄せ波」と「引き波」がぶつかって寄せ波の距離が「長い」と「短い」を繰り返したりします。もう少しリアルな波を作りたい場合は、寄せ波と引き波がぶつかる素材を入れるといいと思います。

この画像ではコンポジッションの高さが素材と同じ高さですが、もっと高く設定すればよかった。高さが足りなかったせいで最終的な絵の波の発生位置が近すぎてます。。。

 

砂浜がぬれるアニメーション

波で砂浜がぬれる素材をアニメーションします。

波のアニメーションから位置のキーをコピーします。 波のアニメーションと違い、波のピーク位置で停止させます。

 

波のマスクアニメーション

波のマスク素材をアニメーションします。

波のアニメーションから位置のキーをコピーします。
引き波のときに水位が一定の位置から下がって欲しくないので、黒いレイヤーを追加して波形にマスクを作成しています。

 

波を配置する

アニメーションさせた素材を背景に配置します。

アニメーションさせたコンポジッションを3Dレイヤーにして海岸線に見えるように配置しました。作った素材はそのまま順番に重ねています。白波の素材を複製して、白波の影を落としてみました。背景描くの面倒だったので、砂浜と海はグラデーションした平面です。

 

作りは簡単ですが、アニメ風の波打ちぎわに見えるんじゃないかと思います。

上の画像は波に水透明度や深さを意識した感じにしてますが、完全に水色にするとよりセルっぽい感じになります。

CG News

Foundryが新しいクラウドベースのVFXプラットフォーム 「Athera」発表

 

Webブラウザ経由で Nukeファミリ、Katana、Modo、Mari、Cara VR、V-Ray、Houdini、BlenderなどのVFXツールにアクセスできるサービス「Project Elara」が「Athera」という名称になったようです。GPU、ネットワーク、ストレージ機能などクラウドサービスプロバイダに Google Cloud Platform を使用するみたい。4月26日からAtheraのトライアルをリクエストすることが可能。
https://www.foundry.com/news-awards/athera-announcement

Webブラウザ経由でVFX向けという挑戦的なサービスですが、対象は大きなスタジオではなく、フリーランサーやインディーズを目指しているらしい。ライブ撮影中の作業や、クライアントのオフィスでの作業を想定してるみたいです。
http://www.cgchannel.com/2018/04/foundry-unveils-athera-its-new-cloud-based-vfx-platform/

ベータプログラムにはさまざまな規模の企業が含まれていますが、主にフリーランサーや小規模なスタジオをターゲットにしています。

そのようなアーティストにとって Athera の主な利点の1つは、ビジネスを運営するために高価なハードウェアを購入または維持する必要がないことです。すべてがクラウドで実行され、ディスプレイだけがユーザーにストリーミングされます。

Atheraは現代のほとんどのブロードバンド接続でうまく動作するはずです。Netflixを4Kでストリーミングできる環境、データセンターとの距離が近ければ接続速度は十分に速くなります。

Atheraはアメリカ西海岸、 西ヨーロッパ、東海岸、おそらく東ヨーロッパ、南アメリカ、オーストラリアに続くデータセンターで利用できるようになります。

Foundryは最初は単一の「資格」を提供することを明らかにした。1人のユーザーに仮想のワークステーションと、その上で実行されるソフトへ最大300時間のアクセスが与えられ、レンダリングはノード単位で課金されます。

Atheraを通じて入手可能なソフトウェアには、Foundry製品 Nukeファミリー、Modo、Mari、Katana、Houdini、V-Ray、Blenderが含まれます。ショットガンのサポートは発売直後に行われますが、Mayaや3ds Maxの予定がありません。

Mazerolle氏によると、Foundryは開発中にAutodeskと少し作業しましたが、最終的にはベータを続けることを拒否しました。「ベータユーザーからAutodesk製品、特にMayaに多くの欲求があった」と同氏は述べた。しかし、Autodeskは私たちが望んでいたほど熱心ではなかった。