スゲー

参考資料

Transport-Based Neural Style Transfer for Smoke Simulations

画像を使用してスモークシミュレーションにスタイルを転送する技術だそうです。面白い。
http://www.byungsoo.me/project/neural-flow-style/index.html

概要

芸術的に流体を制御することは常に困難な作業であった。最適化手法では、煙のダイナミクスを間接的に制御するためにアーティストが手作業で作成することが多い、ターゲットの速度または密度フィールドの設定に対してシミュレーション状態を近似することに依存します。
パッチ合成技術は、イメージテクスチャまたはシミュレーション機能をターゲットフローフィールドに転送します。しかし,これらは構造パターンの追加または乱流構造による粗い流れの増大に限定され,従って異なるスタイルおよび意味的に複雑な構造の全スペクトルを捕捉できない。
本論文では,体積煙データのための最初のトランスポートベースのニューラルスタイル転送(装置)アルゴリズムを提案した。この方法は,自然画像から煙シミュレーションに特徴を転送することができ,単純なパターンから複雑なモチーフまでの一般的な内容を意識した操作を可能にする。提案したアルゴリズムは,ソース入力煙から所望のターゲット構成への密度輸送を計算するので,物理的に影響を受ける。著者らの輸送ベースのアプローチは,煙を様式化に向けて輸送する非圧縮性および非回転性ポテンシャルを最適化することにより,様式化速度場の発散を直接制御することを可能にする。時間的整合性は後続の様式化速度の輸送と整列により保証され,3D再構成は異なるカメラ視点からの様式化のシームレスなマージにより計算される。

参考資料

“Shanghai Fortress” Final Trailer

中国映画の予告編。映像が凄そう。Bottleship VFXがMax、TP、FuneFX、Houdiniの水、Vexus(Boomer Labsのノードシーンアセンブリ)を使用してVFXを行ってるらしい。

参考資料

Infinite Patterns

modoとC4Dで作られた短編映像です。メイキングが公開されており、modoを使用した蜂のアニメーションやUVTransformを使用した蜂の目や建物の模様のモデリングが素晴らしいです。C4Dの幾何学的なアニメーションもすごく便利そう。

参考資料

高品質のリアルタイムアニメアップスケーラー「Anime4K」

高品質のオープンソースリアルタイムアニメアップスケーラー「Anime4K」が公開されてるようです。機械学習は使用していない単純なアルゴリズムのようですが、機械学習が行ってる処理に近いかもしれない。というもののようですね。
https://github.com/bloc97/Anime4K#glsl-usage-instructions-mpv

Anime4Kは、最新のオープンソース、高品質のリアルタイムアニメアップスケーリングアルゴリズムであり、あらゆるプログラミング言語で、どこにでも実装できます。

リアルタイムアニメアップスケーリングカテゴリの最新技術*。手頃な品質を実現する最速。これは、機械学習アプローチと比較して優れた品質の汎用SISRアルゴリズムであるとは主張していません。

概要

非常に高速(Vega64GPUで最大3ms)で時間的に一貫性があり、実装が簡単(最大100行のコード)であるが、非常に効果的な日本のアニメーションと漫画で動作するように設計された最新の高品質リアルタイムSISRアルゴリズムを示す。このアルゴリズムは非常に単純なので、この方法が現在使用されていない「一斉に 」ことは驚くべきことである。
注目すべきことに提案した方法は機械学習または統計的アプローチを使用せず、より細かいテクスチャの犠牲を許容しながら良く定義されたライン/エッジに重要性を置く内容に適合した。提案したアルゴリズムは色情報を高さマップとして扱い、勾配上昇を用いて可能性のあるエッジに向かってピクセルを「押す 」反復アルゴリズムとして迅速に記述できる。これは学習ベースのアプローチがすでに内部で行っていることである可能性が非常に高い(例:。VDSR [1]、waifu2x [2])。

アートのアップスケーリング(アニメスタイル)

参考資料

AIを使用して嫁を生成するサービス「WAIFU LABS」

WAIFU LABSは好みの絵を数回クリックするだけで、AIがオリジナルキャラクター(嫁)を生成してるというサービスです。生成したキャラクターを枕にプリントして購入できるというのが面白いですね。日本でも購入可能です。
https://waifulabs.com/

 

 

WAIFU LABS

世界的な人工知能にアニメの描き方を教えました。あなたが見ている絵はすべて人間ではないアーティストによって作られたものです!ワイルドですね。実は機械は人間と同じくらいワイフを愛しているのです。

私たちは、人類の歴史の次の章を誇らしげに紹介します。世界で最も賢いAIアーティストからのライトワイフコミッション。

5分足らずで、アーティストはあなたの好みに合った完璧なワイフを作ります。

 

参考資料

1枚の肖像画だけでリライティングする研究

リフォルニア大学サンディエゴ校およびグーグルの研究者が、ニューラルネットワークを使用して肖像画をリライティングする論文を発表してるようです。

この手法では、1つのRGBイメージを環境マップを使用してリライティングできます。デプスデータは必要ありません。携帯電話で撮影した写真をリライティングするアプリなどでの利用を考えているようです。精度高そうで面白い。

参考資料

手描きのスタイルに映像を変換するフリーソフト「EbSynth」

手描きのスタイルに映像を変換するフリーソフト「EbSynth」がリリースされました。

EbSynthはビデオに1つ以上のリファレンスになるキーフレームとして描かれたスタイルでレンダリングします。これはユーザーが完全にカスタマイズ可能な手描き見た目でビデオを制作できるように設計されています。YouTubeの回答によると機械学習ではないらしい。
https://ebsynth.com/

参考資料

Artem Smirnov RnD reel

破壊、液体、エフェクトのRnDリール。シミュレーション時間が凄いことになってそう。