ディープラーニングを使用したフレーム補間ソフト「Rife-APP」がリリースされました。価格は$ 24.90 以上。
https://grisk.itch.io/rife-app
Dain-Appの後継であるRife-Appは、新しいアルゴリズムを使用してい ます。
Rife-APPはDain-Appの25 倍の速度で動作し、Vram の使用量も少なくて済みます。Nvidiaカードはアプリケーションの速度を向上させることができますが、Dain-Appとは異なりCPU上で実行することもできます（低速）。
Rife-Appは入力されたmp4/gif/webm/etcのフレームを補間して、入力されたFPSの2倍/4倍/8倍にします。
Epicが今年後半にリリース予定の忠実度の高いデジタルヒューマンを作成するための新しいツールを発表しました。ゲームのキャラクターメイクのような感じでリアルなデジタルヒューマンを短時間で作成できるようです。
作成したデータはモーションキャプチャツールとUnreal Engines Live Link FaceiOSアプリを使用してアニメーション化できるようです。MetaHuman Creatorは数か月以内に早期アクセスプログラムの一部として試すことができるようになるらしい。
https://www.unrealengine.com/ja/digital-humans
メルセデスベンツ300SLガルウィングをフィーチャーしたcgショートフィルム。アニメーションも気持ちよくてライティングも綺麗、溢れ出る車好きを感じます。
アニメーションがいいですね。内容も面白い。
手描きと3Dとドット絵が混ざってるのに統一感のある映像が面白い。
WebGLを使用したCGに使用される技術をまとめたプレゼン資料のようです。WebGLを使用したインタラクティブな内容がわかりやすくて面白いです。
http://acko.net/files/fullfrontal/fullfrontal/webglmath/online.html
2Dイラストから3Dモデルを自動生成する実験をしてる人を見かけました。面白いですね。
2Dイラストから3Dモデルを自動生成する実験の続きです。
目のランドマークを増やし、素体の変更を試してみました。今回は @YAN3dcg さんの「ゴトウ（の顔）」をお借りしています。https://t.co/Ys8pE3qxRP
アニメ調の素体を使うとだいぶ精度が上がりますね。
次は表情の変更を試してみる予定です。 pic.twitter.com/dEj2AjtNI3— 高坂 (@t_takasaka) November 23, 2020
2Dイラストから3Dモデルを自動生成する実験の続きです。
輪郭部分について最適な制御点を自動で選択する処理を追加しました。よりランドマークに近い形状で生成できるようになっています。
次は目のランドマークを増やす予定です。左上:2D原画、右上：3D法線、左下：3Dテクスチャ、右下：3D姿勢変更 pic.twitter.com/HM8AvkvuPW
— 高坂 (@t_takasaka) November 1, 2020
2Dイラストから3Dモデルを自動生成する実験の続きです。
左上が原画、右上が法線、左下がテクスチャ、右下がテクスチャ＋姿勢を動かしたものになっています。テクスチャを貼ると見た目がそれっぽくなりますね。
まだ輪郭がランドマークと一致しないので、次はその辺りを調整していければと考えてます。 pic.twitter.com/BFIZNMLQx1— 高坂 (@t_takasaka) October 18, 2020
2Dイラストから3Dモデルを自動生成する実験をしています。
まだ課題は多々ありますがひとまず方向性は見えてきたところ。漫画的な誇張表現をそのまま3Dに反映できるのでアニメーション用の機能と組み合わせると面白そうな印象です。
素体はICT FaceKitをお借りしましたがそのうち差し替えるかも？ pic.twitter.com/vJy9hNRH9G— 高坂 (@t_takasaka) September 27, 2020
カッコイイ
ドローン200機を使用したミュージックビデオ。ドローンのアニメーションにCinema 4DとAR toolkit Moves by Maxonを使用してるらしいです。ドローンの移動をリアルタイムなリップシンクに見せるために、5倍遅く撮影した後に5倍速化してるとのこと。
絵の雰囲気がいいですね。
R-TYPEを題材にしたレトロ風のアニメ作品。80年代へのこだわりが凄いです。
2Dアニメーションの3D背景トリック
80年代風のスペースシップをアニメーション化する方法
機械学習を使用した高解像度のスタイライズド 画像生成だそうです。githubでソースが公開されてるようです。
https://news.developer.nvidia.com/synthesizing-high-resolution-images-with-stylegan2/
https://github.com/NVlabs/stylegan2
NVIDIA Researchによって開発され、CVPR 2020で発表されたStyleGAN2と呼ばれるこの新しいプロジェクトは、転移学習を使用して、無限に多様な絵画スタイルで一見無限のポートレートを生成します。
スタイルベースのGANアーキテクチャ（StyleGAN）は、データ駆動型の無条件生成画像モデリングで最先端の結果をもたらします。その特徴的なアーティファクトのいくつかを公開して分析し、それらに対処するためのモデルアーキテクチャとトレーニング方法の両方の変更を提案します。
特にジェネレーターの正規化を再設計し、プログレッシブ成長を再検討し、ジェネレーターを正規化して、潜在的なベクトルから画像へのマッピングを適切に調整します。このパス長レギュラライザは、画質を向上させるだけでなく、ジェネレーターの反転が非常に容易になるという利点もあります。これにより、特定のネットワークによって画像が生成されているかどうかを確実に検出できます。
さらに、ジェネレーターがその出力解像度をどのように活用するかを視覚化し、容量の問題を特定して、より大きなモデルをトレーニングして追加の品質改善を行う動機付けをします。全体的に見て、私たちの改良されたモデルは、既存の配信品質メトリックと知覚される画像品質の両方の観点から、無条件の画像モデリングにおける最先端の技術を再定義します。
「PIFuHD」はディープラーニングを使用して、1枚の画像から高解像度の3Dモデルを生成する技術だそうです。
ディープラーニング形の画像生成は解像度が低い物が多かったですが、高解像度の画像を活用できるところが有望な感じしますね。githubでソースが公開されてるようです。
https://github.com/facebookresearch/pifuhd
https://shunsukesaito.github.io/PIFuHD/
後処理なしで元の入力のディテールを保持しながら、これまでにないほど高い1k画像解像度でピクセル配置方法で、衣服を着た人間の3Dジオメトリを推測するマルチレベルフレームワークを紹介します。
画像ベースの3D人間の形状推定における最近の進歩は、ディープニューラルネットワークによって提供される表現力の大幅な改善によって推進されてきました。現在のアプローチは現実世界の設定で可能性を実証していますが、入力画像にしばしば存在する詳細レベルで再構成を生成することはできません。
この制限は主に2つの相反する要件を形成していると私たちは主張します。正確な予測には大きなコンテキストが必要ですが、正確な予測には高解像度が必要です。現在のハードウェアのメモリ制限により、以前のアプローチでは、入力として低解像度の画像を使用して大きな空間コンテキストをカバーし、結果として精度の低い（または低解像度の）3D推定を生成する傾向があります。エンドツーエンドのトレーニングが可能なマルチレベルアーキテクチャを策定することにより、この制限に対処します。
粗いレベルでは画像全体を低い解像度で観察し、全体論的な推論に焦点を当てます。これは、より高解像度の画像を観察することによって非常に詳細なジオメトリを推定する細かいレベルにコンテキストを提供します。私たちのアプローチは、1k解像度の入力画像を完全に活用することにより、単一画像の人間の形状の再構成に関する既存の最先端技術を大幅に上回っていることを示しています。
TVシリーズとのことだけどクオリティーが凄い。
