参考資料

参考資料

次世代映画制作のためのリアルタイムインカメラVFX

Epic GamesがUnreal Engineを使用したバーチャルプロダクションツールを研究してるようです。従来のグリーンスクリーン撮影の代わりにLEDスクリーンを使用することで、リアルな環境照明のある撮影が可能になるようです。

バーチャルプロダクションのワークフローに関する資料も公開されてます。
https://www.unrealengine.com/ja/blog/virtual-production-field-guide-a-new-resource-for-filmmakers

 

概要

リアルタイム技術は映画制作の技術を変えつつあり、Unreal Engineには次世代のバーチャルプロダクションツールが登場します。SIGGRAPHでEpic Gamesは、Magnopus、Lux Machina、Quixel、Profile Studios、ARRI、DP Matt Workmanと提携して、グリーンスクリーンを使用し後処理で合成を行うことが急速に旧式のテクニックになっているかを示しました。このビデオでは、LEDウォールを使用して仮想環境を提供するだけでなく、現実世界の要素を照らしてシーン全体を1回のパスでカメラに取り込む方法を見ることができます。

参考資料

Intel AI “Hoobox”

技術イメージ紹介的な映像。CPUのテクノロジー感の表現がいい感じ。

 

参考資料

「Readyyy!」でのLive2D活用事例

ゲーム「Readyyy!」でのLive2D活用事例の記事が公開されてます。Unityを使用して背景に合わせて2Dキャラクターにライティングする手法が面白いです。単純な色の合成は既存のノベルゲームでもよく見かけますが、シャドウマップとスペキュラマップを使用してるのがゲーム会社らしい作り方ですね。
http://techblog.sega.jp/entry/2019/08/05/100000

 

続きを読む

参考資料

AIを使用して嫁を生成するサービス「WAIFU LABS」

WAIFU LABSは好みの絵を数回クリックするだけで、AIがオリジナルキャラクター(嫁)を生成してるというサービスです。生成したキャラクターを枕にプリントして購入できるというのが面白いですね。日本でも購入可能です。
https://waifulabs.com/

 

 

WAIFU LABS

世界的な人工知能にアニメの描き方を教えました。あなたが見ている絵はすべて人間ではないアーティストによって作られたものです!ワイルドですね。実は機械は人間と同じくらいワイフを愛しているのです。

私たちは、人類の歴史の次の章を誇らしげに紹介します。世界で最も賢いAIアーティストからのライトワイフコミッション。

5分足らずで、アーティストはあなたの好みに合った完璧なワイフを作ります。

 

参考資料

mental ray 無料公開

2017年に開発終了したmental rayが無料で公開されているようです。公開されているはmental rayのスタンドアロンとサテライト。対応バージョンはMaya 2018、3ds Max 2018。
https://blog.mentalray.com/2019/08/01/new-unlimited-mental-ray-satellite-standalone/

 

概要

Mental Rayスタンドアロンは、ライセンスを必要としなくなりました。何台でも無料でご利用いただけます。

これは、レンダリングのスループットを向上させるためにネットワーク分散レンダリングに依存しているMental Rayプラグインのユーザにとって、優れた拡張機能です。またコマンドラインから実行したり、Backburnerなどのレンダリングジョブマネージャで管理したりする場合の、レンダリングファームでの使用に関する制限もなくなりました。

 

mental ray Satelliteレンダリングとは?

レンダリングファームで個別のレンダリングジョブを開始するのとは異なり、Satelliteレンダリングモードでは内部ネットワークのリモートマシンをメインのMental Rayレンダリングエンジンに接続することができるため、DCCツールの実行で既にビジー状態になっているメインマシンに負荷をかけることなくイメージやアニメーションのレンダリングの重要な部分を引き継ぐことができます。mental rayはデータ配布とネットワーク通信を内部的に処理しているため、通常の方法でMayaまたは3ds Maxの操作を続行できます。当然のことながらネットワーク速度とマシン構成は、全体的なエクスペリエンスと流れるようなワークフローに大きな影響を与えます。

Mayaではサテライトモードを選択的に有効にして、Render Viewでのプレビューレンダリングやバックグラウンドでのバッチレンダリングを行うことができます。ただしこの分散モードではプログレッシブレンダリングはサポートされていません。そのためmental rayを使用したインタラクティブなビューポートレンダリングではあまり便利ではありませんが、ここでも有効にすることができます。Satellitesにすべてのレンダリングをリモートで行わせ、メインマシンをレンダリングの負荷から解放するか(バックグラウンドバッチレンダーに最適)、必要に応じてメインのレンダリングに寄与するように設定する(クイックプレビューレンダリングの場合など)オプションがあります。

それ以外の場合はAutodesk製品のオリジナルのSatelliteモードと異なり、使用できるマシンまたはCPUコアの数に制限はありません。ただし、技術的には占有されている可能性のあるネットワーク上であまりに多くのリモートマシンを同期させる必要がある場合、全体的なレンダリングの利点が低下することがあります。

この最新のMental Ray Standaloneもコマンドラインから使用できます。もちろん制限やライセンス設定はありません。

 

Mental Ray Free Standalone / Satellite

参考資料

機械学習を使用したカラーグレーディングツール「MagicTints」

MagicTintsは機械学習エンジンを使用して、元のコントラストを維持したまま別の画像から、別の画像色を自動的に割り当てるカラーグレーディングツールです。映像向けに使えたら面白いかも。

動作環境はAdobe Photoshop、Illustrator、InDesign、Lightroom、XD、Affinity Photo, Sketch, モバイル: iOS,、Android、スタンドアロンデスクトップ:macOS、Windows。価格はPhotoshop、Illustrator、InDesign用が$39、現在はセール中で$19です。
http://anastasiy.com/magictints

参考資料

Cascadeur:ディープラーニングポーズ予測ツール

Cascadeurのディープラーニングを使用したポーズ予測ツール(アルファ版)のムービーが公開されてます。
システムはキャラクターの体の6つのポイントを追跡します。首、腰、手首、足首の1つが動かされたとき、ソフトウェアはディープラーニングに基づいて自動的に他のものの位置を調整するようです。

フルボディーIKよりは気が利いてそうに見えます。ポーズが勝手に動くのは好みじゃないけど、細かいこと気にしなければ便利なのかな。

参考資料

Houdini Reel 2019

Houdini のリールはクオリティー高くて楽しそうでいいね。

参考資料

映画撮影シミュレータ「Cine Tracer」

Unreal Engineをベースとした映画撮影シミュレータ「Cine Tracer」がリリースされました。照明、カメラ、小道具をデジタルで再現したバーチャルセットを使用して、ショットを計画したりストーリーボードのフレームをキャプチャしたりできます。現在早期アクセス中で価格は¥ 9250。

3Dソフトの複雑な操作を覚えなくても、ゲーム感覚で習得が簡単なツールという物のようです。リアルタイムレイトレーシングのサポートによりレイトレーシングシャドウ、反射、AO、半透明、GIでショットをプレビューができるようです。

VRoidもそうでしたがゲームエンジンを使用したアプリケーションというのが面白いですね。今後もこういうソフトが増えるのかしら。
https://store.steampowered.com/app/904960/Cine_Tracer/
https://www.cinetracer.com/

概要

Cine TracerはUnreal Engineで作られたリアルタイムの映画撮影シミュレータです。ハイブリッドゲーム/アプリは、現実的なシーンを視覚化してストーリーボードに取り込むために、現実世界のカメラとライトをユーザーに制御させます。

Cine Tracerシステム

Cine Tracerには、製品の仮想環境を実現するために連携して動作するいくつかのコア「システム」が含まれています。これらには、カメラ、照明とグリップ、建物、小道具、そしてアクターが含まれます。

カメラ

  • フロートカメラ
  • 三脚
  • ハイハット
  • トラック付き台車
  • 伸縮クレーン
  • ハンドヘルドカメラ

照明とグリップ

  • だ円
  • 小型パネルライト
  • 4×4フレームライト
  • 12×12フレームライト
  • 実用ライト

建築システム

  • ブロックシステム
  • スタジオシステム

小道具

  • たくさんの小道具

アクター

  • 3Dスキャン
  • CCアクターズ
  • 単純なアクター

 

 

 

 

参考資料

1枚の肖像画だけでリライティングする研究

リフォルニア大学サンディエゴ校およびグーグルの研究者が、ニューラルネットワークを使用して肖像画をリライティングする論文を発表してるようです。

この手法では、1つのRGBイメージを環境マップを使用してリライティングできます。デプスデータは必要ありません。携帯電話で撮影した写真をリライティングするアプリなどでの利用を考えているようです。精度高そうで面白い。