Service

参考資料

ディープラーニングを使用した線画の自動陰影付け「ShadeSketch」

ディープラーニングを使用した線画とライト方向からシェーディングを生成するサービス「ShadeSketch」。3D的なライティングを考慮してるのが面白いですね。
https://shinya7y.github.io/playground/shadesketch/
https://cal.cs.umbc.edu/Papers/Zheng-2020-Shade/

 

概要

線画スケッチと照明方向の対から詳細で正確なアーティスティックな陰影を生成する全自動法を示した。また、照明方向でタグ付けされた線画と影の対の1000例の新しいデータセットを提供した。
驚くべきことに生成された影は、スケッチされたシーンの基礎となる3D構造をすばやく伝達します。したがって、このアプローチによって生成されたシャドウは、直接使用することもアーティストにとって優れた出発点として使用することもできます。
提案した深層学習ネットワークは手書きスケッチを用い、潜在空間に3Dモデルを構築し、結果として生じる影をレンダリングすることを示した。生成された影は、手描きの線とその下にある3Dスペースを考慮し、セルフシャドウ効果などの洗練された正確なディテールを含んでいます。
さらに、生成されたシャドウには従来の3Dレンダリング方法で実現可能な、リムライティングやバックライトから現れるハロなどの芸術的な効果が含まれています。

 

立方体は、26のライティング方向を示しています。

ユーザは3桁の文字列でライトの位置を指定します。最初の桁はライティングの方向(1から8)に対応し、2番目はデプスプレーン(1~3)に対応し、3番目は特殊な方向である001(真ん前に)と002(背後に)を除いて0です。この結果、照明の方向は8*3+2=26になります。

ネットワークアーキテクチャ

ギャラリー

結果の例。このシステムは、バイナリシャドウとソフトシャドウを生成できます。

アーティスティックな制御

私たちの影と色を組み合わせる。

(a) 入力スケッチ
(b) 照明方向710の影
(c) 照明方向001,730,210からの影を合成した複雑な照明条件での影
(d) 照明方向001,210,220からドットとソフトシャドウを合成してマンガ風に仕上げた私たちの影
(e) 市販のソフトで着色したスケッチ
(f) (e)と(b)を合成したもの
(g) (e)と(c)を合成したもの
(h) 原画家のイメージ
©nico-opendata

 

バーチャル照明

芸術的な線画にシャドウイングシステムを適用した例。

26の個別の照明方向からの結果。

CG News

スミソニアンオープンアクセスを開始

280万の2D/3DデータをCreative Commons Zeroとしてパブリックドメインにリリースしました。3Dデータの数は2,200以上で、スミソニアンのデジタル化プログラムオフィスによって作成されてるとのことです。
https://3d.si.edu/
https://www.si.edu/openaccess/updates/21st-century-diffusion

本日、スミソニアンオープンアクセスを開始し、280万の2Dおよび3D画像と、173年にわたるスタッフが作成したデータをCreative Commons Zeroとしてパブリックドメインにリリースしました。スミソニアンオープンアクセスの目標は、世界中の人々が国のコレクションをあらゆる目的で利用できるようにすることです。発見を行い、新しい知識を構築し、新しいアートや創造的なプロジェクトを開発して、世界を少し違った視点で見られるようにすることです。

Creative Commons Zero

https://creativecommons.jp/sciencecommons/aboutcc0/

CC0 とは、科学者や教育関係者、アーティスト、その他の著作権保護コンテンツの作者・所有者が、著作権による利益を放棄し、作品を完全にパブリック・ドメインに置くことを可能にするものです。CC0によって、他の人たちは、著作権による制限を受けないで、自由に、作品に機能を追加し、拡張し、再利用することができるようになります。

3Dモデルは解像度に応じてフル、中、低の3種類からダウンロードできるようです。高解像度のテクスチャも含まれていました。
https://3d.si.edu/object/3d/orbiter-space-shuttle-ov-103-discovery:d8c636ce-4ebc-11ea-b77f-2e728ce88125

参考資料

リアルタム“Deepfakes”

スイスの世界経済フォーラム(WEF)でリアルタイムのインタラクティブな顔置換を実演したさいのインタビュー記事が公開されています。
https://www.fxguide.com/fxfeatured/real-time-deepfakes/

Pinscreenの研究には、新しいディープラーニング、データ駆動型、幾何学処理アルゴリズムの開発が含まれる。ハオ・リー氏自身は、アバターの作成、顔のアニメーション、髪のデジタル化、動的な形の処理、悪意のある偽物の拡散を防ぐための最近の取り組みなどで有名になった。
Pinscreenはディープフェイクを検出してユーザーに誤解を知らせる研究グループのリーダーだ。FacebookとGoogleもこの分野で積極的に活動している。GoogleのプレジデントであるSundar Pichai氏は最近、「ディープフェイクの発見は、私たちの前に立ちはだかる最も重要な課題の1つである」と投稿しており、Googleは合成ビデオの検出を支援するため、オーディオとビデオの両方のデータセットをリリースしている。
Pinscreenの研究は94%という高い検出精度レベルに達しているが、これは知られている著名人(実際の映像の大量のサンプルを使って)だけのものだ。

デモに使用しているのはRGBのみの普通のLogitech Webcam。リアルタイムで難しい部分は次のこと。

  • 大量のデータを処理し、より深いネットワークでより良いモデルを訓練する能力
  • 高解像度フレームを生成する機能
  • タスクを並列化/スケジュールする機能

リアルタイムでない場合はより高い解像度とより自然な結果を生成できるそうです。頭の回転や照明を自然に処理できるとのこと。

参考資料

AIを使用した高解像度化サービス「AnimeRefiner」

AIを使用した高解像度化サービス「AnimeRefiner」のページが公開されてます。
https://animerefiner.com/

サンプルを見ると線がシャープな状態でクオリティーが高そうです。意図的なのかわかりませんが、サンプルが汚く縮小されてるのが気になります。あにめたまご2018作品なので、等倍ピクセルを4k、8kにしたサンプルが見てみたい気がします。

続きを読む

参考資料

DMMでPayPalが作品を規制

DMMの動画と電子書籍の購入でPayPal支払を使用すると、特定のワードを含む作品が購入ができないようです。
たまに「暴力的な表現にこのソフトを使用しないで」という規約があったりしますが、決済サービスが規制を行うというのは珍しい気がします。
https://help.dmm.co.jp/-/detail/=/qid=45630/

趣味

Amazonの検索からマケプレを除外する方法

Amazonの商品検索からマーケットプレイスを除外する方法を見かけたので、Amazonが販売する商品だけ検索するフォームを作ってみた。

Amazonで商品を検索すると、Amazon以外の販売店(マーケットプレイス)が出品した商品も含めて検索に出てきます。マーケットプレイスは偽物、低品質な商品、定価より高く設定された転売品など、怪しい商品を扱うショップが多く、Amazonの利便性や品質を低下させていて困ります。

Amazonが販売し発送する商品であれば、ある程度安心して購入することができます。

Amazonが販売する商品のみ検索

キーワードを入力して検索ボタンを押してください。

 

Amazonで検索する方法

1.Amazonで検索する。

今回は例として「イヤホン bluetooth」で検索してみました。怪しい商品が「スポンサープロダクト」として優先的に表示されます。

 

2.アドレスの末尾に検索オプションを追加する。

検索結果のアドレス(URL)の末尾に「&rh=p_6%3AAN1VRQENFRJN5」を追加してEnterキーを押します。

 

3.Amazonが販売、発送する商品のみ表示される。

Amazonが販売、発送する商品のみ検索結果として表示されました。怪しい商品がなくなり、SONYなどおなじみのメーカーの商品が表示されます。ページのアドレスには検索オプションが含まれているのが確認できます。

商品をクリックして購入ボタンの下の注意書きを確認すると、「Amazonが販売、発送します」と書かれてることが確認できます。

 

これでマケプレの怪しい商品を購入せずに済みます。

CG News

Epic GamesがQuixelを買収

Epic Gamesはフォトグラメトリーによる3Dスキャンデータライブラリを公開しているQuixelを買収したようです。

1万点を超えるMegascansアセットはUnreal Engineユーザーが無料で利用できるようになり、UE4以外のユーザーのアセットコストは削減されます。当初ベータ終了時に$99のスタンドアロンアプリケーションになる予定だったMixerBridgeは無料でリリースされます。最初の無料バージョンであるMixer 2020とBridge 2020は今年後半に出荷予定。

Quixelは元の名前を残し、6か国で100名を超える従業員全員がEpic Gamesに参加します。
https://www.unrealengine.com/en-US/blog/epic-games-and-quixel-join-forces-to-empower-creators

https://quixel.com/blog/2019/11/12/quixel-joins-forces-with-epic-games

MegascansがUnreal Engineで使用できるようになります

Megascansライブラリは、Unreal Engineで使用するために完全に無料になりました。

つまりMegascansをUE4で使用している場合、BridgeとMixerおよびUnreal Engine Marketplaceの豊富なMegascansパックを介して、すべてのMegascansに無料で無制限に即座にアクセスできます。10の高解像度パックが本日、Unreal Engine Marketplaceで無料で共有され、追加のアセットパックはUnreal Engine 4.24のリリース期間内にMarketplaceで無料で利用できるようになります。これにより好きな方法でコンテンツにアクセスできます。

UE4でのみMegascansを使用している場合、2019年のすべてのサブスクリプションを払い戻します。アクティブなサブスクリプションをお持ちの場合は、ログインして払い戻しを取得する方法を確認してください。2019年にMegascansを購入したが、有効なサブスクリプションがない場合は払い戻しについて連絡します。

Megascansサブスクリプションの価格がすべての人に対して低下しました

Epic Gamesの支援により、Megascansの価格設定を即座に削減し、ダウンロードするコンテンツをほぼ2倍にし、解像度キャップを削除します。サブスクリプション期間の残りの期間についても払い戻しを行っており、新しいプランのいずれかに飛び乗ることができます。有効なサブスクリプションをお持ちの場合は、ログインして払い戻しを取得する方法を確認してください。

Bridge と Mixer 2020はすべての人に100%無料です

Epicは今後の2020バージョンのBridgeとMixerをすべての人に100%無料で提供するのに役立ちます。サブスクリプションは不要で両方とも完全に機能します。私たちは新しい無料バージョンを今から数週間以内にリリースします、そして最終的にあなたと今後のアップデートを共有できることを嬉しく思います。

Bridge 2020

Bridge 2020は大幅に改善されたブラウジングエクスペリエンスをもたらし、時間を可能な限り節約し、創造性を刺激するように設計されています。

閲覧はより視覚的で関連性が高く、楽しくなりました。ほぼ100の新しいコレクションが追加され、検索バーがよりスマートになり、強力なフィルタリングが導入されました。さらにフィードする画像内のすべてのアセットを検索するAI検索機能を実装しました。これにより、現実世界のリファレンスやコンセプトアートがあるかどうかに関係なく、環境計画が大幅に容易になります。

Mixer 2020

Mixer 2020は3Dペインティング、リアルタイム3D Curvature、スマートマテリアルなどを導入しました。

このアップデートでは最終的にMixerを究極にするための別のステップとして、3Dブラー、グループ化、マップ固有のブレンド、高度なAOミキシング、ボックス投影、マテリアルIDマスキング、3D位置グラデーション、3D法線も導入しました。現在、無料のテクスチャアプリです。

つまりスマートマテリアル、3Dペイントメッシュの設計、タイル化可能なサーフェスの作成をすべて1つのアプリで行うことができます。QuixelMixer 2020はスキャンデータ、PBRペインティング、手続きオーサリングをシームレスに融合し、毎日10,000回のスキャンと新しいコンテンツのローリング。Mixer 2020はオーガニック、ハードサーフェス、フォトリアル、または定型化されたテクスチャリングを対象としても、3Dまたは2Dで作業していても、最終的にカバーします。

CG News

Foundry「Ather」をサービス終了

FoundryがAtheraを終了したようです。Atheraは2018年発表されたクラウドベースのVFXプラットフォーム で、Foundry製品やHoudiniなどのアプリケーションを実行できるように設計されていました。
ちょっと面白そうだったので残念ですね。
https://www.fxguide.com/quicktakes/foundry-closes-athera/

Atheraの魅力の1つは、実際に使った時にのみ課金されることだった。定期購読料はかからず、ライセンスするソフトウェアも簡単に変更できる。つまり、理論的には使用量を0にまで減らして、途中で何も払わずに次の大きなプロジェクトのため1ヶ月単位ですぐに元に戻せるということだ。残念ながら、このサービスは十分な数のユーザーと接続できませんでした。

参考資料

ダンジョンジェネレーター

ダンジョンを自動生成してくれるサービス。部屋の説明も作ってくれる。絵の雰囲気もいいですね。
https://watabou.itch.io/one-page-dungeon

操作
  • ENTER : ダンジョン生成
  • N: ノート切り替え
  • T : タイトル切り替え
  • S : シェーディングモード切り替え
  • E : PNGとしてエクスポート

ジェネレータで作成したイメージは、必要に応じて使用できます。たとえば、コピー、修正、市販のRPGアドベンチャーへの組み込みなどです。帰属は認められるが、必須ではない。
Patreonでこのプロジェクトをサポートすることを検討してください。

参考資料

AIを使用して嫁を生成するサービス「WAIFU LABS」

WAIFU LABSは好みの絵を数回クリックするだけで、AIがオリジナルキャラクター(嫁)を生成してるというサービスです。生成したキャラクターを枕にプリントして購入できるというのが面白いですね。日本でも購入可能です。
https://waifulabs.com/

 

 

WAIFU LABS

世界的な人工知能にアニメの描き方を教えました。あなたが見ている絵はすべて人間ではないアーティストによって作られたものです!ワイルドですね。実は機械は人間と同じくらいワイフを愛しているのです。

私たちは、人類の歴史の次の章を誇らしげに紹介します。世界で最も賢いAIアーティストからのライトワイフコミッション。

5分足らずで、アーティストはあなたの好みに合った完璧なワイフを作ります。

 

参考資料

Lightbrush Cloud

画像からテクスチャマップをキャプチャしてテクスチャとイルミネーションに分けて画像操作ができるツールが、Webアプリケーションとしてサービス開始しました。現在アルファ版で提供されています。https://lightbrush.org/

価格
  • 1画像 $1
  • 100画像 $30/月
  • 500画像 $95/月

 

光と質感をトータルコントロール

Lightbrush Cloudを使用すると、画像のイルミネーションとその表面の色をさまざまなレイヤーに分割して編集できます。テクスチャマップの作成から写真の変更まで可能性は無限です。

 

3Dグラフィックスやビデオゲーム用のテクスチャマップを簡単に作成

 

正確なイルミネーションを維持しながら表面の色を変える

 

元の表面色を維持しながらイルミネーションを変更する

 

新しいLightbrush Cloud

新しいLightbrush Cloudアプリケーションにより、PCとインターネットにアクセスできる人なら誰でもLightbrushの背後にある強力なテクノロジにアクセスできるようになります。この新しいプラットフォームに依存しないアプリケーションを使用すると、画像をアップロードしてGoogle Cloud Computer Networkの機能で数秒で処理できます。

参考資料

ブラウザベースのGPUレンダリングエンジン「Light Tracer」

ブラウザで動作するGPUレンダリングエンジン「Light Tracer」が公開されてるようです。
OBJモデルをアップロードしPCのGPUを使用してブラウザでレンダリングすることができます。Chrome、Firefoxと互換性があり。Light Tracerは現在無料で使用できます。

ブラウザで動作するレンダラーというとオートデスクに買収された「LAGOA」を思い出しますが、その後どうなったんだろう。

Light Tracer Renderのハイライト

クライアントサイドWebレンダラー

Light Tracerは、Webブラウザ内でGPUによって高速化されたフォトリアリスティックなクライアントサイドレンダリングのための世界初のソリューションです。現時点では、Google ChromeとMozilla Firefoxのみがサポートされています。

 

物理的に正しいエンジン

NVidia / AMDのようなGPUと、Intelのような統合されたGPUの両方のグラフィックカードで動作する物理的に正確で偏りのないレイトレーシングエンジンをベースにしてます。

 

高速かつ効率的

高度に最適化されたGPUパストレースエンジンにより、3Dシーンのナビゲーション中にビューポートで即座にフィードバックを得ることができます。部分的な加速構造の再構築によって可能になったインタラクティブな変更。

 

プログレッシブリファイン

Light Tracer はノイズの多いイメージから開始して、最終的な結果に向けて徐々にリファインするプログレッシブレンダリングモードを使用します。ノイズレベルが許容できると判断した時点でレンダリングを停止できます。

マテリアル

Light Tracer は単純だが堅牢な2層の物理ベースマテリアルモデルを特徴としており、光沢のあるサーフェス、ガラス、金属、セラミック、プラスチック、木材、カーペイントなど、一般的なマテリアルタイプのほとんどをシミュレートできます。

 

ライティング

Light Tracer は主にHDRI環境マップを使用するように設計されていますが、メッシュエミッタや、球状光源や遠方光源などの分析的に定義されたエミッタもサポートしています。