1. /
  2. /
  3. 参考資料

参考資料

参考資料

ディープラーニングを使用した線画の自動陰影付け「ShadeSketch」

  • 0

ディープラーニングを使用した線画とライト方向からシェーディングを生成するサービス「ShadeSketch」。3D的なライティングを考慮してるのが面白いですね。
https://shinya7y.github.io/playground/shadesketch/
https://cal.cs.umbc.edu/Papers/Zheng-2020-Shade/

 

概要

線画スケッチと照明方向の対から詳細で正確なアーティスティックな陰影を生成する全自動法を示した。また、照明方向でタグ付けされた線画と影の対の1000例の新しいデータセットを提供した。
驚くべきことに生成された影は、スケッチされたシーンの基礎となる3D構造をすばやく伝達します。したがって、このアプローチによって生成されたシャドウは、直接使用することもアーティストにとって優れた出発点として使用することもできます。
提案した深層学習ネットワークは手書きスケッチを用い、潜在空間に3Dモデルを構築し、結果として生じる影をレンダリングすることを示した。生成された影は、手描きの線とその下にある3Dスペースを考慮し、セルフシャドウ効果などの洗練された正確なディテールを含んでいます。
さらに、生成されたシャドウには従来の3Dレンダリング方法で実現可能な、リムライティングやバックライトから現れるハロなどの芸術的な効果が含まれています。

 

立方体は、26のライティング方向を示しています。

ユーザは3桁の文字列でライトの位置を指定します。最初の桁はライティングの方向(1から8)に対応し、2番目はデプスプレーン(1~3)に対応し、3番目は特殊な方向である001(真ん前に)と002(背後に)を除いて0です。この結果、照明の方向は8*3+2=26になります。

ネットワークアーキテクチャ

ギャラリー

結果の例。このシステムは、バイナリシャドウとソフトシャドウを生成できます。

アーティスティックな制御

私たちの影と色を組み合わせる。

(a) 入力スケッチ
(b) 照明方向710の影
(c) 照明方向001,730,210からの影を合成した複雑な照明条件での影
(d) 照明方向001,210,220からドットとソフトシャドウを合成してマンガ風に仕上げた私たちの影
(e) 市販のソフトで着色したスケッチ
(f) (e)と(b)を合成したもの
(g) (e)と(c)を合成したもの
(h) 原画家のイメージ
©nico-opendata

 

バーチャル照明

芸術的な線画にシャドウイングシステムを適用した例。

26の個別の照明方向からの結果。

参考資料

UEの新しい自動車マテリアルパック

  • 0

Unreal Engine用に2016年にリリースされた無料の自動車マテリアルパックが更新されたようです。10のマスターマテリアルと150を超えるインスタンスの完全に新しいセットが付属。
ムービーを見ると、かなり綺麗で実用的なマテリアルに見えます。
https://www.unrealengine.com/en-US/blog/new-automotive-materials-pack-now-available-on-the-marketplace-for-free

参考資料

MAVERICKRENDER GRADIENT LIGHTS PRESENTATION

  • 0

Maverick Renderのグラデーションライトの紹介ビデオ。HDR Light Studioっぽい機能ですね。カーブUIのグラデーション表示が使いやすそう。
https://maverickrender.com/gradient-lights/

グラデーションライト

Maverick Studioは、実物に近い製品の視覚化に関するものです。そして、その名前自体が示唆するように、完璧で使いやすいスタジオ製品照明は当社のソフトウェアの主な目標です。
Maverickはライトオブジェクトを作成および再配置する強力なツールを最初から提供しています。しかし、これらのパネルとスポットライトによって実際に照射される照明がソフトボックス、傘などの形をしている場合に、最良の結果が得られます。実際の写真スタジオのように。

シェイプのライブラリを作成しても私たちにとって十分な気分ではありませんでした。そこで、想像を絶するスタジオライトの形状を作成できる、非常に柔軟で完全にカスタマイズ可能なプロシージャノードを作成することにしました。しばらくしてマップ自体に入ります。しかし、プレゼンテーションビデオは、この新しい機能がどれだけの力をもたらすかをわずか60秒で理解できるほど説明的でなければなりません。

 

参考資料

JUMANJI ‘making of’ video

  • 0

ジュマンジ/ネクスト・レベルのメイキングビデオの記事が公開されてます。カッコイイ。
https://www.fxguide.com/quicktakes/jumanji-making-of-video-and-digital-release/

 

Sprout

Sony Picture Imageworks（SPI）のチームは、映画のために社内ツールSpoutを広範囲に使用しました。Sproutは樹木、植物、岩などの高解像度のアセットを大量に含むデジタル環境を手作業で調整するためのSPI独自のMayaベースのツールです。
Spoutが開発されたのは、既存のパイプラインに完全に統合されたアーティストに優しいインタラクティブツールの必要性に対応するためです。

Sproutの開発前は、SPIでの環境ドレッシングは主にHoudiniで、またはレンダリング時にプロシージャル的に行われていたため、FX TDの領域でした。
Sproutでは、アーティストはPhotoshopを使用したことがある人なら誰でも使い慣れたブラシパラダイムを使用して、任意のアセットをロードし、インスタンスを他のジオメトリにすばやくペイントできます。
洗練された軽量OpenGL表現はパフォーマンスを軽快に保ち、すべてのインスタンスはアーティストによって完全に編集可能なままであり、高度にアート指向の環境のドレッシングを可能にします。Sproutは、SPIでの環境ドレッシングをより多くのアーティストに利用可能にしました。

Sproutのインタラクティブな使用とキングスマンでの使用説明。

 

ジュマンジ/ネクスト・レベルは4K Ultra HDR、Blu-ray、DVDを発売予定だそうです。

参考資料

The Virtual Production of The Mandalorian, Season One

  • 0

The Mandalorian,Season Oneで使われているバーチャル制作技術の舞台裏の紹介ビデオが公開されています。以前Epic GamesがUnreal Engineを使用したバーチャルプロダクションツールを研究していましたが、それを実戦投入という感じでしょうか。

マンダロリアン・シーズン1の50%以上がこの画期的な新しい方法論を使って撮影されたため、ロケの必要性はまったくなくなりました。その代わり俳優は、没入型の高さ20インチ、270度の半円形LEDビデオウォールと天井で、直径75インチのパフォーマンススペースを使用し、実際のセットピースと画面上のデジタル拡張機能を組み合わせました。

ILMによって作成されたデジタル3D環境は、撮影中にリアルタイムで編集されたLEDウォール上でインタラクティブに再生され、NVIDIA GPUを搭載したシステムによって高解像度でレンダリングされたピクセル精度のトラッキングとパースペクティブ補正3D画像を可能にしました。

環境はカメラの視点から照らされてレンダリングされ、リアルタイムで視差を提供します。まるでカメラが俳優や実用的なセットで正確なインタラクティブライトを使用して物理的環境を実際にキャプチャして、撮影中のビジュアルエフェクト主導の作業のために具体的な創造的な選択を行い、リアルタイムのカメラ内合成を実現します。

インカメラ合成とエフェクトをオンセットで使用するために実用的なものにするために必要なテクノロジーとワークフローは、Golem Creations、Fuse、Lux Machina、Profile Studios、ARRIなどのパートナーの創意工夫とILMのStageCraft仮想制作映画制作プラットフォーム、そして最終的にはUnreal Engineプラットフォームのリアルタイムインタラクティビティを組み合わせたものです。

参考資料

リアルタム“Deepfakes”

  • 0

スイスの世界経済フォーラム（WEF）でリアルタイムのインタラクティブな顔置換を実演したさいのインタビュー記事が公開されています。
https://www.fxguide.com/fxfeatured/real-time-deepfakes/

Pinscreenの研究には、新しいディープラーニング、データ駆動型、幾何学処理アルゴリズムの開発が含まれる。ハオ・リー氏自身は、アバターの作成、顔のアニメーション、髪のデジタル化、動的な形の処理、悪意のある偽物の拡散を防ぐための最近の取り組みなどで有名になった。
Pinscreenはディープフェイクを検出してユーザーに誤解を知らせる研究グループのリーダーだ。FacebookとGoogleもこの分野で積極的に活動している。GoogleのプレジデントであるSundar Pichai氏は最近、「ディープフェイクの発見は、私たちの前に立ちはだかる最も重要な課題の1つである」と投稿しており、Googleは合成ビデオの検出を支援するため、オーディオとビデオの両方のデータセットをリリースしている。
Pinscreenの研究は94%という高い検出精度レベルに達しているが、これは知られている著名人(実際の映像の大量のサンプルを使って)だけのものだ。

デモに使用しているのはRGBのみの普通のLogitech Webcam。リアルタイムで難しい部分は次のこと。

  • 大量のデータを処理し、より深いネットワークでより良いモデルを訓練する能力
  • 高解像度フレームを生成する機能
  • タスクを並列化/スケジュールする機能

リアルタイムでない場合はより高い解像度とより自然な結果を生成できるそうです。頭の回転や照明を自然に処理できるとのこと。

参考資料

Modo Essentialsが無料化

  • 0

William Vaughan氏のModo Essentialsが無料公開されました。https://learn.foundry.com/course/3128/view/modo-essentials

Modo EssentialsはModoのツールと機能の操作と操作を分かりやすく説明するために作成された初心者向けのガイド本です。Modoの基本や便利なホットキーなどが解説されてます。
コアコンテンツに加えて、26のビデオと23のModoシーンファイルで構成される470 MBのボーナスコンテンツも含まれています。

参考資料

AIを使用した高解像度化サービス「AnimeRefiner」

  • 0

AIを使用した高解像度化サービス「AnimeRefiner」のページが公開されてます。
https://animerefiner.com/

サンプルを見ると線がシャープな状態でクオリティーが高そうです。意図的なのかわかりませんが、サンプルが汚く縮小されてるのが気になります。あにめたまご2018作品なので、等倍ピクセルを4k、8kにしたサンプルが見てみたい気がします。

続きを読む