スゲー

参考資料

フレーム補間ソフト「Rife-APP」

ディープラーニングを使用したフレーム補間ソフト「Rife-APP」がリリースされました。価格は$ 24.90 以上。

https://grisk.itch.io/rife-app

概要

Dain-Appの後継であるRife-Appは、新しいアルゴリズムを使用してい ます。

Rife-APPはDain-Appの25 倍の速度で動作し、Vram の使用量も少なくて済みます。Nvidiaカードはアプリケーションの速度を向上させることができますが、Dain-Appとは異なりCPU上で実行することもできます(低速)。

Rife-Appは入力されたmp4/gif/webm/etcのフレームを補間して、入力されたFPSの2倍/4倍/8倍にします。

 

CG News

デジタルヒューマンをモデル化するツール「MetahumanCreator」スニークピーク

Epicが今年後半にリリース予定の忠実度の高いデジタルヒューマンを作成するための新しいツールを発表しました。ゲームのキャラクターメイクのような感じでリアルなデジタルヒューマンを短時間で作成できるようです。

作成したデータはモーションキャプチャツールとUnreal Engines Live Link FaceiOSアプリを使用してアニメーション化できるようです。MetaHuman Creatorは数か月以内に早期アクセスプログラムの一部として試すことができるようになるらしい。

https://www.unrealengine.com/ja/digital-humans

高忠実度のデジタル ヒューマンをわずかな時間で

説得力のあるリアルタイム デジタル ヒューマンを作成するのは非常に困難で時間がかかります。何か月にもわたるリサーチ、高額なスキャン機器、大勢のテクニカルアーテイストが必要になることもあります。もし、品質に妥協することなく、そのプロセスを根本的によりシンプルに、より高速に、よりスケーラブルにすることができるとしたらどうでしょう?
この新しいツールを使用すれば、誰でも、完全にリギングされ、髪や服を備えたカスタムメイドのフォトリアルなデジタル ヒューマンをほんのわずかな時間で作成することができます。

MetaHuman Creator のスニークピーク

MetaHuman Creator はかつてないほどの品質、忠実度、リアリズムの水準で、これまで数週間から数か月かかっていたデジタル ヒューマンの作成を1時間以内で行うことができるクラウドストリーミング ベースのアプリケーションです。
作成が完了したらエクスポートしダウンロードすると、リギングされてUnreal Engine でアニメートする準備が整っています。

 

無料の MetaHuman サンプル

MetaHuman Creator で作成された2体の高品質で完全にリギングされたサンプル キャラクターは、リアルタイム デジタル ヒューマンの最先端技術を表しています。
これらのキャラクターは、Unreal Engine 4.26.1 及び、これ以降のバージョンで試し、変更し、使用することができます。

参考資料

Gullwing

メルセデスベンツ300SLガルウィングをフィーチャーしたcgショートフィルム。アニメーションも気持ちよくてライティングも綺麗、溢れ出る車好きを感じます。

参考資料

Brawl Stars - Barley’s Bar

手描きと3Dとドット絵が混ざってるのに統一感のある映像が面白い。

参考資料

2Dイラストから3Dモデルを自動生成

2Dイラストから3Dモデルを自動生成する実験をしてる人を見かけました。面白いですね。

参考資料

Tecmash

カッコイイ

参考資料

VWLS - "High In Heaven"

ドローン200機を使用したミュージックビデオ。ドローンのアニメーションにCinema 4DとAR toolkit Moves by Maxonを使用してるらしいです。ドローンの移動をリアルタイムなリップシンクに見せるために、5倍遅く撮影した後に5倍速化してるとのこと。

https://www.fxguide.com/fxfeatured/face-that-drone/

参考資料

RETRO ARCADE ANIME: R-TYPE

R-TYPEを題材にしたレトロ風のアニメ作品。80年代へのこだわりが凄いです。

 

2Dアニメーションの3D背景トリック

 

80年代風のスペースシップをアニメーション化する方法

参考資料

StyleGAN2を使用した高解像度画像の合成

機械学習を使用した高解像度のスタイライズド 画像生成だそうです。githubでソースが公開されてるようです。
https://news.developer.nvidia.com/synthesizing-high-resolution-images-with-stylegan2/
https://github.com/NVlabs/stylegan2

NVIDIA Researchによって開発され、CVPR 2020で発表されたStyleGAN2と呼ばれるこの新しいプロジェクトは、転移学習を使用して、無限に多様な絵画スタイルで一見無限のポートレートを生成します。

 

概要

スタイルベースのGANアーキテクチャ(StyleGAN)は、データ駆動型の無条件生成画像モデリングで最先端の結果をもたらします。その特徴的なアーティファクトのいくつかを公開して分析し、それらに対処するためのモデルアーキテクチャとトレーニング方法の両方の変更を提案します。

特にジェネレーターの正規化を再設計し、プログレッシブ成長を再検討し、ジェネレーターを正規化して、潜在的なベクトルから画像へのマッピングを適切に調整します。このパス長レギュラライザは、画質を向上させるだけでなく、ジェネレーターの反転が非常に容易になるという利点もあります。これにより、特定のネットワークによって画像が生成されているかどうかを確実に検出できます。

さらに、ジェネレーターがその出力解像度をどのように活用するかを視覚化し、容量の問題を特定して、より大きなモデルをトレーニングして追加の品質改善を行う動機付けをします。全体的に見て、私たちの改良されたモデルは、既存の配信品質メトリックと知覚される画像品質の両方の観点から、無条件の画像モデリングにおける最先端の技術を再定義します。

参考資料

PIFuHD:高解像度3D人間のデジタル化のためのマルチレベルピクセルアライン暗黙関数

「PIFuHD」はディープラーニングを使用して、1枚の画像から高解像度の3Dモデルを生成する技術だそうです。
ディープラーニング形の画像生成は解像度が低い物が多かったですが、高解像度の画像を活用できるところが有望な感じしますね。githubでソースが公開されてるようです。
https://github.com/facebookresearch/pifuhd
https://shunsukesaito.github.io/PIFuHD/

後処理なしで元の入力のディテールを保持しながら、これまでにないほど高い1k画像解像度でピクセル配置方法で、衣服を着た人間の3Dジオメトリを推測するマルチレベルフレームワークを紹介します。

 

概要

画像ベースの3D人間の形状推定における最近の進歩は、ディープニューラルネットワークによって提供される表現力の大幅な改善によって推進されてきました。現在のアプローチは現実世界の設定で可能性を実証していますが、入力画像にしばしば存在する詳細レベルで再構成を生成することはできません。

この制限は主に2つの相反する要件を形成していると私たちは主張します。正確な予測には大きなコンテキストが必要ですが、正確な予測には高解像度が必要です。現在のハードウェアのメモリ制限により、以前のアプローチでは、入力として低解像度の画像を使用して大きな空間コンテキストをカバーし、結果として精度の低い(または低解像度の)3D推定を生成する傾向があります。エンドツーエンドのトレーニングが可能なマルチレベルアーキテクチャを策定することにより、この制限に対処します。

粗いレベルでは画像全体を低い解像度で観察し、全体論的な推論に焦点を当てます。これは、より高解像度の画像を観察することによって非常に詳細なジオメトリを推定する細かいレベルにコンテキストを提供します。私たちのアプローチは、1k解像度の入力画像を完全に活用することにより、単一画像の人間の形状の再構成に関する既存の最先端技術を大幅に上回っていることを示しています。