スゲー

参考資料

Artem Smirnov RnD reel

破壊、液体、エフェクトのRnDリール。シミュレーション時間が凄いことになってそう。

参考資料

KandaoのAIを使用したスーパースローモーション変換

中国のカメラメーカー Kandaoが機械学習システムを使用して、30fpsの通常のビデオを最大300fpsの超スローモーションに変換できる「AIスローモーション」と呼ばれる新機能を発表しています。
この機能は360 / VRカメラであるObsidianとQooCamに適用され、どちらも高品質のスローモーションを作成できるカメラにアップグレードされる。
https://www.kandaovr.com/2019/04/09/kandao-cameras-use-ai-to-turn-normal-video-into-300fps-super-slow-motion/

新機能を使用すると、ユーザーは撮影後にフッテージを最大10倍のスローモーションできます。たとえば、元々8K 30fpsでキャプチャされた360度ビデオは8Kで240fpsのスローモーションに変換でき、4K 60fpsのビデオは4K 480fpsでエクスポートできます。

CG News

tyFlowオープンベータ開始

tyFlowのオープンベータ版が公開されています。プラグインはドキュメンテーションWebサイトからダウンロードすることができます。ベータ版は誰でも使用することができ、商業利用も可能らしい。価格は発表されていません。http://docs.tyflow.com/download/
https://www.instagram.com/tyflow/

tyFlowは以前から素晴らしいエフェクトが話題になっていましたが、UIが公開されていなかったことからフェイク動画なんじゃないかと噂されることもありました。公開されているサンプル動画は、どれも素晴らしい品質に見えます。

View this post on Instagram

tyFlow's PhysX pipeline is closely tied to its rig skinning system. Combining the two makes it easy to simulate effects like rigidbody deformations. In this example, vehicles are skinned with rigidbodies connected together by tyFlow PhysX constraints. tyFlow's constraint deformation system allows for local deformations to form when portions of the constraint network undergo enough stress. The result is a deformable surface that maintains its overall rigidity, similar to how an actual car's exterior can be dented and damaged. Dynamic fracturing was also added to each window, allowing for glass to smash on impact. Since every part of the system is controlled procedurally by tyFlow, it is quick and easy to iterate and tweak. #tyflow #autodesk #physx #procedural #generative #animation #cloth #rigidbody #softbody #simulation #cg #3d #vfx #3dsmax #particles #mdcommunity #mgcollective #ssequential #plsur #chaosgroup #vray

A post shared by Tyson Ibele (@_tyflow_) on

After posting my car crash video, some people wanted a closer look at the tyFlow interface and workflow.Here's a short example showing how the deformation setup was achieved. Although this video doesn't include some details (doors/hood/tires breaking off, windows smashing, etc), it gives a basic outline of the overall system.The key difference you'll notice between this video and a typical PhysX setup in Particle Flow, is that here we're constructing a rig consisting of skinned meshes and other props outside of our main tyFlow, and then importing the entire thing into tyFlow as a spawnable prefab. The car is not a static shape assigned to a single particle — it is a 1:1 translation of scene objects into particles, and a 1:1 conversion of skin modifiers into equivalent deformations within tyFlow. Once they're in the flow, the particles are treated normally by any additional operators. This flexibility gives you full control over the rig, while tyFlow seamlessly handles the PhysX calculations, skinning, etc. As you can see, it takes very few steps to get a decent result. Of course, a more realistic approach for this example would require additional structural supports added to the car frame, different mass values assigned to heavier/lighter parts of the car, breakable windows, detachable doors, rolling wheels, etc…all things that are certainly possible within tyFlow as well.

Tyson Ibeleさんの投稿 2019年2月16日土曜日

View this post on Instagram

tyFlow's unified particle solver makes it really easy to mix different forces and effects. Here I imported several high resolution 3D body scans into tyFlow and converted them into cloth. Then I advected and tore them using a PhoenixFD fluid simulation. tyFlow features a custom cloth tearing solver that can compute a huge numbers of individual cloth tears in very little time. Despite each of these meshes having over a million faces, tyFlow only took a few seconds per frame to perform all the necessary computations. 3D scans from: 3DScanStore.com #tyflow #autodesk #physx #procedural #generative #animation #cloth #rigidbody #softbody #simulation #cg #3d #vfx #3dsmax #particles #mdcommunity #mgcollective #ssequential #plsur #chaosgroup #vray #phoenixfd

A post shared by Tyson Ibele (@_tyflow_) on

View this post on Instagram

tyFlow now features complex crowd simulation capabilities. It allows you to convert arbitrary rigs into dynamic tyFlow actors, blend smoothly between animation clips and maintain full control over all individual bodyparts at all times. You can easily convert actors into PhysX ragdolls and back again on the fly, have characters drop their props, lose limbs, trigger events, drive their rigidbody motion with keyframes, etc. tyFlow's fast, multi-threaded skinning system means the deforming meshes of your actors update as quickly as possible, and tyFlow has no trouble managing thousands of individual rigs simultaneously. This particular example was inspired by Dave Fothergill's fantastic crowd simulation demo from years ago. #tyflow #autodesk #physx #procedural #generative #animation #crowd #crowdsim #miarmy #golaem #simulation #cg #3d #vfx #3dsmax #houdini #cinema4d #maya #particles #mdcommunity #mgcollective #ssequential #plsur #chaosgroup #vray

A post shared by Tyson Ibele (@_tyflow_) on

View this post on Instagram

In this example of tyFlow's crowd system, hundreds of animated cyclists are sent along a curve using a path follow operator. tyFlow keeps them oriented to their travel direction, with a banking setting enabled which causes them to lean into their turns. On impact, each character is automatically converted into a dynamic PhysX ragdoll. PhysX bindings are set to break at certain velocities, so that helmets can fly off, and wheels can detach. tyFlow ensures velocities are maintained when switching rigidbodies from kinematic to dynamic mode, so that inertia is not lost during the transition. Despite the complexity of the scene, the whole thing simulates in just a couple of minutes, thanks to tyFlow's efficient multithreading. #tyflow #autodesk #physx #procedural #generative #animation #crowd #crowdsim #miarmy #golaem #simulation #cg #3d #vfx #3dsmax #houdini #cinema4d #maya #particles #mdcommunity #mgcollective #ssequential #plsur #chaosgroup #vray

A post shared by Tyson Ibele (@_tyflow_) on

View this post on Instagram

tyFlow's crowd simulation capabilities are not limited to humanoid characters. In this example, two thousand worms (fully rigged with splineIK and FFD animated surface deformations) are transformed into a writhing, mutating mass. tyFlow's pose matching system makes it easy to project keyframed animation onto dynamic PhysX rigidbodies, allowing for art-directed twisting and turning of the individual worms, while maintaining physically accurate collisions between all of them. Localized attraction forces acting on the worms cause them to push and pull towards a hidden surface, which ultimately results in the formation of the slithering monster. In total, 30,000 joint-articulated rigidbodies are present in the scene, and the 600-frame sequence simulates in about 30 minutes. Despite the overall complexity of the final result, the whole setup is maintained within just a few tyFlow events and operators, which keeps the workflow light and makes tweaks and changes easy to implement. #tyflow #autodesk #physx #procedural #generative #animation #crowd #crowdsim #miarmy #golaem #simulation #cg #3d #vfx #3dsmax #houdini #cinema4d #maya #particles #mdcommunity #mgcollective #ssequential #plsur #chaosgroup #vray #creepy #nightmarefuel

A post shared by Tyson Ibele (@_tyflow_) on

View this post on Instagram

After months of research and development, tyFlow's granular solver is nearly complete. It's fast, supports OpenCL GPU acceleration, and can easily handle a huge number of particles. Here you can see the result of 8 million particles simulated to interact and collide with an animated character, resulting in the formation of all sorts of interesting structures, fracture patterns, piles and spills. This new solver is fully integrated into tyFlow's global constraint solver, so granular particles can interact with cloth, ropes, softbodies, etc. tyFlow's simple interface makes it easy to design complex simulations like this without much hassle, while still giving users tons of control over the behavior of each particle. #tyflow #autodesk #physx #procedural #generative #animation #grain #sand #simulation #cg #3d #vfx #3dsmax #particles #mdcommunity #mgcollective #ssequential #plsur #chaosgroup #vray #creepy #sandman

A post shared by Tyson Ibele (@_tyflow_) on

View this post on Instagram

tyFlow's cloth solver is fully compatible with its crowd simulation abilities…and crowd actors don't have to be actual characters…they can take any form. Here I created a basic balloon model (mesh balloon + spline string) and imported it straight into tyFlow as a crowd actor. I then scattered 3000 of them over an animated character mesh, binding the end of each string to the character's surface. With a simple operator setup, all balloons were then converted to cloths and all splines were converted to ropes. An inflation force was also added to each balloon, giving them all some internal pressure. At random points in time, balloons were allowed to detach and float away. The result is a fully dynamic crowd simulation featuring balloons as individual actors with a lot of interesting details and motion. #tyflow #autodesk #physx #procedural #generative #animation #cloth #softbody #simulation #cg #3d #vfx #3dsmax #particles #mdcommunity #mgcollective #ssequential #plsur #chaosgroup #vray

A post shared by Tyson Ibele (@_tyflow_) on

 

なぜtyFlowなのか

tyFlowは3ds MaxのParticle Flowの非公式の代替品です。
これは単なるParticle Flowのアップグレードではありません。むしろ、現代のマルチコアシステムの可能な限り高速化と省電力化に重点を置いた設計理念によりゼロから作成されました。そのレイアウト、UI、ワークフローはParticle Flowのものと非常によく似ているので、過去にParticle Flowを使用した経験のある人なら誰でも切り替えることができます。

  • tyFlowとParticle Flowの違いは次のとおりです
  • tyFlowのコア機能はすべてマルチスレッドです
  • tyFlowは自動リアルタイムタイムラインキャッシュを持っています
  • tyFlowのパーティクル コリジョン エンジンは高速で堅牢です
  • tyFlowは剛体シミュレーションに最新のPhysX SDKを使用します
  • tyFlowは粒/布/ロープ/その他をシミュレートするための高速でOpenCLで加速されたコンストレインソルバーを持っています
  • tyFlowには、粒子の軌跡、近傍、拘束を動的スプラインに変換するための組み込みツールがあります
  • tyFlowオブジェクトは自己完結型であり、隠されたオブジェクトはシーン内で作成も管理もされません
  • tyFlowは動的メッシュ破壊のための多くの組み込みの破砕ツールを持っています
  • tyFlowは素早いパーティクル初期化と階層キャッシングのためのシミュレーションカスケードをサポートします
  • tyFlowはシミュレーションリタイミングをサポートします
  • tyFlowは群集ミュレーションツールを内蔵しています
  • tyFlowは動的メッシュ分割と破砕オペレータを持っています
  • tyFlowは、完全なパーティクル制御のための高速マルチスレッドC#スクリプティングサポートを持っています
  • tyFlowにはPRT /オブジェクト/キャッシュエクスポートが組み込まれています
  • tyFlowは統合されPhoenixFDとグリッド パーティクルインフルエンス/移流をサポートしています
  • tyFlowはNitrousと統合され、ビューポートのインスタンス化をサポートします
  • tyFlowはVRayと統合され、レンダリングインスタンス化をサポートします
  • tyFlowは、エクスポートをレンダーファームにバッチ処理するためのDeadlineと統合されています
  • tyFlowには、Particle Flowには見られない他の多くのユニークな機能があります
参考資料

UE4.23で搭載予定の破壊システム「Chaos」

Unreal Engine 4.23で搭載予定の高性能物理破壊システム「Chaos」のリアルタイム技術デモ映像が公開されています。ブルブル震えてるところもありますが、レンダリング品質も相まって凄そうに見えます。
https://www.unrealengine.com/en-US/blog/epic-games-launches-epic-megagrants-new-unreal-engine-technology-and-epic-online-services-at-gdc-2019

アルタイムで計算される「ハリウッドクオリティ」フィジクスと説明されているChaosは、Unreal Engineの既存のツールセットを使用するよりも複雑なリアルタイム破壊効果を生み出すことを可能にするらしい 。

 

Unreal Engine 4.22の新しいリアルタイムレイトレーシング機能のプレビュー映像も公開されてます。「Troll」は王女、妖精、そして魅惑的な王冠のシーンで、レイトレーシングが複雑な柔らかい影と反射で映画品質のライティングを作り出す方法を示します。

 

「Rebirth」は3人のアーティストのチームによって作成され、スタジオ最先端のフォトグラメトリー、アセットライブラリ、そしてUnreal Engineで新しいレベルのフォトリアリスティックな美しさを実演しています。ムービーは完全にUnreal Engine 4.21で照らされ、合成、編集、レンダリングされました。カスタムプラグインやコードはありません。

参考資料

スケッチをフォトリアルに変える

ディープラーニングを使用してラフスケッチから、フォトリアルな絵を作る技術デモのようです。もう少し進化したら絵コンテ書いたりするのに使えそうかも。
https://blogs.nvidia.com/blog/2019/03/18/gaugan-photorealistic-landscapes-nvidia-research/?ncid=so-you-n1-78256

NVIDIA Researchが開発したディープラーニングモデルは、Generative Adversarial Network(GAN)を使用して、ラフな落書きを非常にリアルなシーンに変換します。このツールはスマートな絵筆のようなもので、セグメンテーションマップをリアルな画像に変換します。

参考資料

animation reel

ゲームのアニメーションリールのようです。カッコイイ。

参考資料

Project Sol Part 3

NVIDIA RTXを搭載したリアルタイムレイトレーシングシネマティックシーンのデモ映像。Unreal Engine 4.22とGeForce RTX 2080 Ti GPU 1枚で実行することができるそうです。反射がレイトレースで正確なのが見てわかりますね。

参考資料

Weta Digitalのフェイスパイプライン:アリータ バトルエンジェル

映画アリータのフェイシャルに関する記事が公開されています。一般向けなメイキング動画が公開されていましたが、より詳細な内容の記事です。

アリータは予告見たとき、実写を加工してるのかと思いましたがフルCGなんですね。国内の映像用途のディープラーニングは実験中な感じしますが、海外では普通にワークフローに組み込まれてるのが興味深いです。
https://www.fxguide.com/featured/weta-digitals-remarkable-face-pipeline-alita-battle-angel/

続きを読む

CG News

物理ベースのキャラクターアニメーションソフト「Cascadeur」

物理ベースのキャラクターアニメーションソフト「Cascadeur」のクローズドベータ版が発表されました。
https://cascadeur.com/en

CascadeurはEndorphinのような物理ベースのシステムと、ポーズ、タイミング、パスなどのキーフレーム機能を組み合わせたものっぽいです。物理ベースのアニメーションとMocapデータを組み合わせて、物理的に正しい動きを失うことなく変更することもできるらしい。

Cascadeurの歴史が10年に及ぶ社内ツールとして開発され、最近ではNekkiのShadow Fightシリーズの一部として使用されてるとのこと。

 主な機能

  • 物理ベースのキャラクターアニメーション
  • 短時間で高品質のアニメーション
  • モーションキャプチャに追加または置換
  • キャラクターアニメーションを扱うのに適した簡単なインターフェース
  • キャラクターのリグのクイックセットアップ
  • 初心者でも素晴らしい結果を達成するための素早い学習
参考資料

Unblending Web App

画像から「色分解」してレイヤー分けするサービスが公開されています。イラスト入れて試したけど、面白いです。
https://unblending.ongaaccel.jp/

Unblending Web App

Unblendingとは、Color Blending(=色混合)の逆操作(=色分解)を実現する技術です。これにより、デジタルイラストレーションなどの画像データを入力として、それを再構成可能な半透明レイヤー群に分解することができます。