2DCG

参考資料

「Klaus」のメイキング記事

Netflixで配信中のアニメ「Klaus」のメイキング記事が公開されてます。2Dアニメなのに3DCGのようなライティングが印象的な作風が話題です。

「Klaus」は2015年にテイザームービーが公開され、その直後にToon Boomと技術提携が発表されました。そのことからToon Boom上で質感を作る環境を構築したのかと思ったら、ブラシストロークとテクスチャを2Dキャラクターに半自動でトラッキングする専用ツールを使ったみたいですね。

https://beforesandafters.com/2019/11/14/heres-what-made-the-2d-animation-in-klaus-look-3d/
https://www.cartoonbrew.com/feature-film/how-klaus-draws-on-centuries-old-artistic-principles-to-push-2d-animation-forward-182325.html

公式サイト
https://www.netflix.com/jp/title/80183187

 

Les Films Du Poisson Rougeで開発されたツールセットの舞台裏

Les Films Du Poisson Rougeは、描画された線からトラッキングする方法を見つけました。 ベクトル描画された線だけでなく、ビットマップの線も。 パートナーシップから生まれたのはリアルタイムで動作するこの非常に直感的なツールであり、アーティストが短時間で驚くほどの量の作業を行うことができます。 このツールを「Klaus Light and Shadow」と呼びました。

もう1つの非常に重要な部分はToon Boomでした。パイプライン全体がToon Boom Harmonyを中心に構築されています。 ストーリーボードからインクやペイントまで、すべてがトゥーンブームパイプラインに基づいていました。

ライティング前のプロセス

Toon BoomのStoryboard Proを使用してストーリーボードを作成します。 素晴らしいことは、そこからレイアウトに直行できることでした。 タブレットでデジタルレイアウトを行いました。
2Dショットか3Dショットかに応じてレイアウトを分割します。 レイアウトから、アニメーションをToon Boom Harmonyで直接行いました。 トリックはありません。 パペット アニメーションはありません。すべてフレームごとに手で描かれました。 昔のように、アシスタントやインビトウィナーが線を処理するクリーンアップチームがありました。

その後、線を処理するインクとペイントに移動します。それはおそらく最も難しい部分でした。情報を伝えるために必要な場所にのみ線を残しました。コントラストと色が与えられている場合、線は必要ないと感じたため、多くのアウトラインがなくなっていることに気付くでしょう。ただし、手や顔に内側に線が表示されることがあります。そのため、実際に必要な線の数と、後でシャドウに置き換えることができる線の数を慎重に選択しました。

ライティングのブレークスルー

映画全体にカラーバイブルがあり、カラースクリプトもありました。 カラースクリプトには、映画のすべてのショットが含まれているわけではありませんが、少なくとも4回に1回は含まれていると思う。
背景とキャラクターのライティングの基準が必要でした。背景を扱う背景画家もキャラクターのライターも同じソースから描いていました。

 

ライティングのプロセスは、基本的にはコンセプトアーティストが毎日行うように、シーンのライティングを説得力のある方法で分解することでした。最大8レイヤーのライティングを導入します。アンビエントオクルージョン、サブサーフェススキャッタリング、リムライト、目の鏡面反射光、バウンスライトなどがあります。
これらのレイヤーのそれぞれには、アーティストがショット用にレイヤーの下に作成するシェイプのセットがあります。Les Films Du Poisson Rougeのツールのトラッキングシステムを使って、レイヤーをいくつも通過します。次に、それらをマージして 「ベイク処理された」 ライティングの外観を作成します。

ライティングの後 「テクスチャリング」 と呼ばれる別のステップがあります。3Dのテクスチャリングではありません。これはLes Films Du Poisson Rougeのもう一つのツールでM.O.E.と呼ばれ、ウォッシュ、水彩、オイルなどのペイントスタイルを選択し、ストロークの動作とサイズを決定してイメージに適用できます。背景と同じスタイルなので、ある程度のグレインが必要でした。これは非常に微妙なもので、それを見るために目を細めなければなりません。このグレインはキャラクターと一緒に移動します。

次に、これらすべての要素を合成します。Compは各シェイプに適用するテクスチャの量を決定します。肌などに同じレベルのテクスチャがないため、Compはこれを制御し各ショットに何を適用するかを決定できます。

3Dは依然として大きな役割を果たした

Mayaでは多くの3D要素を作成しました。トナカイなどの要素は3Dの場合もあれば、2Dの場合もあります。私は3Dチームに「リグでこれを行うことができますか?」と言い、彼らは「はい」、「いいえ」、または2Dで行う方が簡単だと言います。 2Dでトナカイをアニメートしても、ファーが正しく表示されない場合があるので、ファーを外してその上にペイントします。

 

アーティストのためのツール

この新しいツールを使うことは、アーティストたちにとっても楽しみでした。実際、アニメーションに簡単に付加機能を追加できるため、行き過ぎを止めるのは難しかった。『まあ、それはちょっと多いですね』。

参考資料

Dancer Til Enda

実験的な映像のようですが、手描きとグリッチエフェクトがカッコイイ。

参考資料

Tokyo Apocalypse

VHSっぽい処理とがステキ。

参考資料

顔のアニメーションを自動生成するAIエンジン「DeepAnime」

人工知能技術を使用し、1枚のイラストからキャラクターの顔のアニメーションを自動生成するAIエンジン「DeepAnime」を開発、提供開始されたようです。

人のフェイシャルから学習してたりするのかな?口閉じ回数がアニメより少ないので、あまりいい口パクに見えないですが、今後改善が進めば色々活用できるかもしれない。
https://prtimes.jp/main/html/rd/p/000000002.000040318.html

 

 「DeepAnime」 特徴

  • 自然なアニメーション
  • 入力は1枚の画像のみ
  • 音声など状況に合わせて生成可能

 

 背景

今日、深層学習技術の発展に伴い、静止画に対する認識/生成技術は急速に進歩してきました。イラストコンテンツに関しても同様に、自然なイラストの自動生成や自動着色など、深層学習によりその表現力が拡大されてきました。一方で未だ動画の認識や生成に関しては未解決課題が多く、アニメーション等の動的コンテンツの生成における成果は限定的でした。
AlgoAgeは、自然なアニメーションの生成に焦点を当て、研究開発を行ってきました。そこでこの度、1枚のキャラクターのイラスト画像からアニメーションを自動生成する「DeepAnime」を開発いたしました。
「DeepAnime」により、これまで複雑で時間がかかっていたプロセスを簡単化し、誰もが気軽にアニメーション作成ができる未来を目指します。

 

ユースケース・想定導入例

エンタメサービス
  • 任意のキャラクターイラストに好きなセリフを話させるエクスペリエンス
  • 任意のイラストをアバターとして用いるコミュニケーション

 

アニメーション制作
  • 動き生成の自動化によるクリエーターの手間の削減
ゲーム
  • キャラクターの話す、瞬きする等アニメーションの自動生成によるコスト削減
参考資料

「Readyyy!」でのLive2D活用事例

ゲーム「Readyyy!」でのLive2D活用事例の記事が公開されてます。Unityを使用して背景に合わせて2Dキャラクターにライティングする手法が面白いです。単純な色の合成は既存のノベルゲームでもよく見かけますが、シャドウマップとスペキュラマップを使用してるのがゲーム会社らしい作り方ですね。
http://techblog.sega.jp/entry/2019/08/05/100000

 

続きを読む

参考資料

AIを使用して嫁を生成するサービス「WAIFU LABS」

WAIFU LABSは好みの絵を数回クリックするだけで、AIがオリジナルキャラクター(嫁)を生成してるというサービスです。生成したキャラクターを枕にプリントして購入できるというのが面白いですね。日本でも購入可能です。
https://waifulabs.com/

 

 

WAIFU LABS

世界的な人工知能にアニメの描き方を教えました。あなたが見ている絵はすべて人間ではないアーティストによって作られたものです!ワイルドですね。実は機械は人間と同じくらいワイフを愛しているのです。

私たちは、人類の歴史の次の章を誇らしげに紹介します。世界で最も賢いAIアーティストからのライトワイフコミッション。

5分足らずで、アーティストはあなたの好みに合った完璧なワイフを作ります。

 

参考資料

機械学習を使用したカラーグレーディングツール「MagicTints」

MagicTintsは機械学習エンジンを使用して、元のコントラストを維持したまま別の画像から、別の画像色を自動的に割り当てるカラーグレーディングツールです。映像向けに使えたら面白いかも。

動作環境はAdobe Photoshop、Illustrator、InDesign、Lightroom、XD、Affinity Photo, Sketch, モバイル: iOS,、Android、スタンドアロンデスクトップ:macOS、Windows。価格はPhotoshop、Illustrator、InDesign用が$39、現在はセール中で$19です。
http://anastasiy.com/magictints

参考資料

背景イラストレーターに学ぶアートを描くときの考え方

背景イラストを描くときにに、どのようなことに注意し心がけたらいいのか?という解説記事が公開されてます。ためになる良い記事です。
https://cgworld.jp/feature/201907-cgw251-mocha.html

 

背景を描くときに意識すること

コンセプトを表現する絵の組み立て

 

「明」と「暗」のくり返しで奥行きを表現

 

遠景から近景までの明るさの調整

 

差し色の配置

 

明暗でモチーフを描く

遠景の場合

近景の場合

 

存在感を出すポイント

 

構造を考えながら描く

木の構造 ~葉の塊の重なり~

 

木の構造 ~シルエットと明るさの表現~

CG News

CACANi 2.0

自動中割アニメーションを作成できるソフト「CACANi 2.0」がリリースされたようです。
https://cacani.sg/
https://www.youtube.com/playlist?list=PL453xPZwguXKhatLx_GxioxEN2WV0AYy9

 

2.0の新機能

より良いアニメーション生成、ストロークマッチング

ストローク順序の再一致を使用して 、キーフレーム間のストローク一致の問題を修正するための修正を加えることができます。ストロークを結合 オプションと一緒にストロークを組み合わせることもでき ます。

動特徴点 モード、あなたはそれを自動的に描画した後、各ストロークの端と鋭い角に特徴点を割り当てることができます。これにより、中間結果が改善されます。また、フィーチャポイントのモーションパスを重ね合わせることで、より自然に見える中間のモーションを作成できます。

オクルージョンとセグメントの隠蔽

重なっている要素を描画するときは、セクションをフレームごとに非表示にするために余分な時間を費やす必要があります。新しい 境界ストローク と 閉塞ストロークの オプションを使用すると、この手動作業を減らすことができます。ストロークを境界線として指定すると、複数のフレームにまたがって自動的に線分を非表示にしたり表示したりできます。すべてレイヤーにグラップする必要はありません。

また、マスク以外に新しい クリッピングマスクの作成 オプションを使用すると、領域外のストロークを非表示にすることができます。

適応ストローク幅調整

描画時および描画後の線幅の細線化および太線化は、[線の太さ調整]パネル および[線幅の変更 ]オプションを使用 すると、どちらもはるかに簡単になりました 。ストローク幅も編集時に自動的に調整されます。

より良いUI、ショートカットのカスタマイズ

メニューとUIが改善され再編成されたため、より多くのオプションを選択できるようになりましたが、画面の乱雑さは増えません。 タイミング、 オニオンスキン (以前にライトボックス)は、 ナビゲータ と Celのバンクパネルは 他のパネルが小さく変化し、機能およびユーザインターフェースにおいてより劇的な変化を見てきました。

ショートカットキーを割り当てるとき明快さのために、ショートカットの カスタマイズウィンドウが再編成されました。デジタルスタイラスボタンを設定するための追加セクションも追加されています。

パフォーマンスの向上

ストロークとカラー領域の処理に関する基本的な機能の多くは書き直されました。その結果、CACANiの複雑な描画(1フレームあたりのストローク数が1000を超える)を処理が高速化され安定化していますが、メモリ使用量は減少しました。

特に詳細な図面を扱うときは、[ 地域カラーを常に更新 ]という新しいオプションを オフにして、図面の応答をさらに速くすることができます。

ラスタレイヤとビデオレイヤ

新しい ラスタレイヤを 使用すると、従来のピクセルベースの方法で図面を描画や編集できます。色分解サブレイヤは、メインラインアートに影響を与えずにハイライト領域とシャドウ領域を描画するのにも役立ちます。

さらに、ビデオレイヤーを使ってビデオフレームをロード、表示、編集することができます 。またレイヤーの調整をスピードアップすることができる スタートセル画 と 終了Cel オプション。

オーディオレイヤーは通常のセルと似ており、移動も可能です。

ラスターラインアートを変換する

Rasterize Image Layerを使用して 、ビデオフレームと外部画像をCACANiラスタレイヤに変換してさらに編集することができます。[ラインアートを抽出] および[ レイヤーを ベクトル化] オプションを使用して、ラスターラインアートをCACANiベクトルストロークに変換することもでき ます。

複数のセルとフレームにわたる編集

選択した機能を複数のフレームまたはセルにまたがって使用できるようになりました。 コンテキストメニューから[すべてのフレームを選択]オプションを使用する か、ショートカットキーで設定することもできます。

複数のセル画やフレーム編集をサポートするツールと機能には、 選択ツール と 適用ストロークテーパリング、 変更ストローク幅、 ランダム化はストローク、 転送/グループ化の情報を交換し、 境界ストローク設定の転送 や、様々なフレーム編集やフレームタイプの変換オプション。

新しいフレームタイプとフレームタイプ変換

フレームを繰り返しを メモリ使用量を増加させることなく、Celのバンクでフレームを表示します。また、さまざまな種類のフレーム間での変換をより柔軟に行えるようになりました。最後に、コンバージョン後にタイミングパネルのタイミングが影響を受けないように細心の注意を払っています。

オニオンスキンフレームをすばやく切り替える

Offpegフレームを割り当てた後は、ショートカットキーを使用して、アクティブフレームとOffpegフレームの表示をすばやく切り替えることができます。

ギャップクロージングのスピードアップ

リージョンの描画と同時にギャップを閉じるなど、さまざまな方法でギャップを閉じることができます。さらに、 描画時に[クリング時にポイントを追加 ]オプション、または描画 後に[ ストローク接続ポイントを追加 ]オプションを使用できるようになりました 。

カラーパレットのロードと保存

カラーパレット は簡単に再利用できます。それらを.csfファイルとして保存し、新しい作業ファイルに再ロードします。

キャンバス、カメラ、書き出し設定

キャンバスの印刷サイズ と DPIを設定でき ます。[ アニメーション情報] セクションでは、アニメーションの詳細を図面に含めることができます。サイズはカメラツールを使ってさらに調整できます 。これらの情報とペグ穴は、個々の図面と一緒にエクスポートできます。

MOVビデオコンテナフォーマットを使用して、透明ビデオをエクスポートすることもできます。これは画像シーケンスの他に、さらなるビデオ編集または他のソフトウェアでの合成のために最大のビデオ品質を維持するもう1つの選択肢です。

After Effectsへのエクスポート

Adobe社のレイヤーとフレーム情報を個々のイメージとしてエクスポートするだけでなく、インポートすることができます。コンポジットソフトウェア内にJSXファイルをロードすることで、CACANiのレイヤーとフレーム構造を維持し、ポストプロダクションワークフローにスムーズに移行できます。

参考資料

スケッチをフォトリアルに変える

ディープラーニングを使用してラフスケッチから、フォトリアルな絵を作る技術デモのようです。もう少し進化したら絵コンテ書いたりするのに使えそうかも。
https://blogs.nvidia.com/blog/2019/03/18/gaugan-photorealistic-landscapes-nvidia-research/?ncid=so-you-n1-78256

NVIDIA Researchが開発したディープラーニングモデルは、Generative Adversarial Network(GAN)を使用して、ラフな落書きを非常にリアルなシーンに変換します。このツールはスマートな絵筆のようなもので、セグメンテーションマップをリアルな画像に変換します。

参考資料

A Light Touch

手描きの白波がちぎれて消える感じが綺麗でいい感じです。