Technical

参考資料

服飾アニメーションのインタラクティブオーサリングのための組み込みの服飾スペース学習

クロスアニメーションのインタラクティブオーサリングに関する研究のようです。メッシュを入力すると間を補完してくれる的な物のようです。
http://geometry.cs.ucl.ac.uk/projects/2019/garment_authoring/

ここでは半自動の衣服アニメーションオーサリングワークフローについて説明します。

(a) ボディアニメーションシーケンスが与えられると、アーティストはキーフレーム(黄色)を選択します。
(b)そのフレームに対する衣服の形状を入力し、システムはこの設計の固有のプロパティを学習し、この設計を他のフレーム(緑色)に自動的に伝播します。
(c)アーティストはガーメントのアニメーションをさらに調整することができます。新しいキーフレームを挿入し(黄色)、ガーメントのシェイプを編集します。次にキーフレームを妥当なトランジション(オレンジ色のボックス)にリンクすることによって、アニメーションシーケンスが自動的に更新されます。
(d) このワークフローでは、アーティストがコンポジション中にボディアニメーション(赤いボックス)を変更することもできます。これは、このシステムが基礎となるボディモーションからインタラクティブなレートで衣服のシェイプを推測するためです。

 

要約

体の動きに関するキャラクタアニメーションのための動的な衣服の形状をオーサリングすることは,CG産業における基本ステップの一つである。確立されたワークフローは時間と労力がかかる(つまり、コントローラを使用した高密度フレームの手動編集)か、キーフレーム・レベルの制御がない(物理ベースのシミュレーション)かのいずれかです。
驚くことではありませんが、縫製は多くの生産パイプラインのボトルネックとなっています。代わりに筆者らは衣服アニメーションの半自動オーサリングのための深層学習ベースのアプローチを提示した。そこではユーザはキーフレームの選択において所望の衣服形状を提供したが,筆者らのシステムはその動作に依存しない固有のパラメータ(例えば、重力、布材料など)に対する潜在的表現を推論した。
新しいキャラクタの動きが与えられると、潜在的な表現によって、適切な衣服のアニメーションをインタラクティブな速度で自動的に生成できます。キャラクタの動きを考慮しなくても、学習された固有の衣服スペースによって新しいモーションシーケンスのキーフレーム間のスムーズなトランジションが可能になります。技術的には動作駆動オートエンコーダネットワークを用いて固有の衣服空間を学習する。ここでエンコーダは衣服の形状を体の動きの条件下で固有の空間にマッピングするが,デコーダはキャラクターの体の動きと固有のパラメータの変化に従って衣服の形状を生成するための微分可能なシミュレータとして動作する。
著者らは一般的な衣服タイプに関して,著者らのアプローチを定性的および定量的に評価した。実験は著者らのシステムがインタラクティブなユーザインタフェースを介して現在の衣服オーサリング作業手順を著しく改善できることを実証した。標準のCGパイプラインと比較して,本システムは必要なキーフレームの比率を20%から1−2%に著しく低減した。

モーション不変エンコーディング

筆者らは下にあるキャラクタの動きを因数分解しながら,潜在空間における同じ固有パラメータを持つ衣服形状を同じ位置に写像する運動不変符号化を訓練し,提供されたキャラクタの動きを使用して潜在空間における位置を様々な衣服形状に復号した。潜像空間において、同じ色のドットは同じ固有パラメータによって生成されたインスタンスを表す。

フリーシェイプ生成

本稿で提案した運動不変符号化ネットワークの視覚図を示す。学習した動き記述子を係数として用い,各ネットワーク層内の複数のサブネットワークを線形にブレンドし,動きに従ってネットワーク挙動を動的に変化させた。

参考資料

Transport-Based Neural Style Transfer for Smoke Simulations

画像を使用してスモークシミュレーションにスタイルを転送する技術だそうです。面白い。
http://www.byungsoo.me/project/neural-flow-style/index.html

概要

芸術的に流体を制御することは常に困難な作業であった。最適化手法では、煙のダイナミクスを間接的に制御するためにアーティストが手作業で作成することが多い、ターゲットの速度または密度フィールドの設定に対してシミュレーション状態を近似することに依存します。
パッチ合成技術は、イメージテクスチャまたはシミュレーション機能をターゲットフローフィールドに転送します。しかし,これらは構造パターンの追加または乱流構造による粗い流れの増大に限定され,従って異なるスタイルおよび意味的に複雑な構造の全スペクトルを捕捉できない。
本論文では,体積煙データのための最初のトランスポートベースのニューラルスタイル転送(装置)アルゴリズムを提案した。この方法は,自然画像から煙シミュレーションに特徴を転送することができ,単純なパターンから複雑なモチーフまでの一般的な内容を意識した操作を可能にする。提案したアルゴリズムは,ソース入力煙から所望のターゲット構成への密度輸送を計算するので,物理的に影響を受ける。著者らの輸送ベースのアプローチは,煙を様式化に向けて輸送する非圧縮性および非回転性ポテンシャルを最適化することにより,様式化速度場の発散を直接制御することを可能にする。時間的整合性は後続の様式化速度の輸送と整列により保証され,3D再構成は異なるカメラ視点からの様式化のシームレスなマージにより計算される。

CG News

Toolchefs Camera Lattice for Maya

オープンソースのMayaアニメーションツールをリリースしているToolchefsが、Camera Latticeツールを公開しました。tcKeyReducer、harmonicDeformer、tcSoftIKSolver、cameraLatticeを含むToolchefsのオープンソースMayaプラグインは、LGPLライセンスで利用できます。
古くはXSIのTDの方がデモしてたDeformationGridやC4Dのカメラデフォーマのようなカメラスクリーンベースのデフォーマですね。面白そう。
https://www.toolchefs.com/?portfolio=camera-lattice
https://github.com/Toolchefs

参考資料

より正確なマルチビューヘアキャプチャ

毛髪は再建するのが最も困難な目的の1つだそうですが、ストランドレベルの精度で忠実度の高いヘアジオメトリをキャプチャする論文とビデオが公開されてるようです。

髪の毛のキャプチャーと言えばディズニーの研究を思い出します。需要があるジャンルなのかな。

http://openaccess.thecvf.com/content_CVPR_2019/html/Nam_Strand-Accurate_Multi-View_Hair_Capture_CVPR_2019_paper.html

参考資料

Incredibles 2のエンジニアリングに忠実な髪

Pixar が Incredibles 2 向けに開発したヘアワークフローを紹介するビデオをアップロードしています。 SIGGRAPH 2018でおこなう講演用らしい。プレビューでの再現性が高そうですね。

参考資料

スマフォ使ったAIモーションキャプチャ「RADiCAL」

スマフォで撮影した動画からモーションキャプチャーするサービスだそうです。動画をサーバーにアップして解析し、FBX形式でダウンロード可能とのこと。現在ベータ版でモーションキャプチャのプレビューを5分間無料で利用できます。
アプリ入れてみたけど撮影できなくて試せなかった。
https://getrad.co

 

参考資料

NVIDIA RTX and GameWorks Ray Tracing Technology Demonstration

映画品質のリアルタイム レンダリングを提供するレイトレーシング技術の NVIDIA(R) RTXを発表されました。DrectX 12にレイトレーシングのパイプラインを統合した「DirectX Raytracing(DXR)」のAPIを使用するアプリケーションと互換があるようです。

レイトレースのメリットであるシャドーやリフレクションの正確さがわかるいいデモです。擬似的な表現に比べて絵が安定して見えます。デノイズを使用してリフレクションブラーを滑らかにするデモも素晴らしい。

DXRはDrectX 12に対応したGPUであればDXRを使用できるとのことですが、RTXはデモに使用されたハードスペックがだいぶ高いっぽいです。将来的には昔から研究されているレイトレース専用チップを搭載したグラフィックカードが登場して、DCCツールのビューポートでレイトレースが動いたり、レンダリングが早くなったりしたら面白いですね。
http://www.4gamer.net/games/033/G003329/20180323013/

参考資料

Snappers Advanced Facial Rig for Maya and Unreal Engine

MayaとUnreal Engineを使用したフェイシャルリグのデモ映像。凄いリアル。

特長

-FACSベースのリグ
-Adaptive rig:最適化されたブレンドシェイプのリストを使用して、任意の数のエクスプレッションを組み合わせることができる。
-リアルな顔の筋肉コンストレイント:高度なリグのロジックは、実際の顔の筋肉の制約をシミュレート。
- 高度なスキンシェイダー(MayaとUnreal用):微細な細部と細孔のストレッチを備えた最大16個のしわマップと16個の動的ディフューズマップを保持。
-顔のコントローラやGUIを使用して操作するのは簡単。
-すべてのゲームエンジンとアニメーションパッケージと互換性があります。
-すべてのクスプレッション間の滑らかな遷移。
-調整レイヤー:顔の複数の領域を自由に操作して、同じ表現の無制限のバリエーションを作成。

参考資料

The New Pioneers: Animation Tools and Techniques

映像向けのセルルックはこういうリグがいいんだろうな。
3Dソフトに付属のリグはモーキャプやゲーム用途の物がベースなので、アヌメ用途はカメラスクリーンに特化したリグが必要な気がします。