AIを使用したアニメの背景美術制作支援ツール「Scenify」、実験映像では背景美術の約2/3に使用されてるとのことです。
PFNは機械制御系の企業という印象でしたが、Pixivの自動彩色、キャラクター生成、アニメのメカデザインや群集制御など、ここ数年はAIを使用したクリエイティブ関連の技術で目にする機会が増えてます。
https://www.preferred.jp/ja/news/pr20210312/
AI技術を活用してアニメ制作を効率化すべく、PFNの深層学習による画像変換技術、セグメンテーション技術などを映像制作に活用する実験的な取り組みを共同で行いました。
その中で、東映アニメの新規IP研究開発チーム「PEROs」が本年2月に公開した、佐世保市を舞台にした実験映像『URVAN』（ウルヴァン）の背景美術制作に、PFNが開発するアニメの背景美術制作支援ツールScenify™（シーニファイ）が活用されました。
実在する佐世保の風景をアニメ調・サイバーパンク調の2つの画風で表現しており、現地で実際に撮影された風景写真からScenifyでアニメ調の背景素材に自動変換することで、美術クリエイターが画像の前処理工程に要する時間を従来の約1/6に大幅短縮することができました。
Scenifyは、同作品で制作した背景美術の約2/3に使用されています。この技術の活用により、美術クリエイターは作業負担・工数を削減することができ、クリエイティブの自由度・振れ幅が大きいサイバーパンク調の背景制作により多くの時間を充てることが可能になりました。
また、Scenifyの開発では、背景美術の制作に必須となる、背景画像からキャラクターに接する部分・手前にくる部分（BOOK）を自動的に切り出す「BOOK分け」機能、画像の一部を除去した後の空白を自然に塗りつぶす「スマート塗りつぶし」機能、さらに、Scenifyをクリエイターの制作ワークフローに組み込みやすくするためのプロトタイプUIの開発も行いました。
実験映像作品『URVAN』におけるScenifyを利用した背景美術制作の例
素材写真
Scenifyによる変換結果（アニメ調）
東映アニメ美術スタッフによる最終レタッチ結果（サイバーパンク調）
今後は、東映アニメにおけるアニメ作品（TVアニメーション・アニメ映画）制作にScenifyを適用することを目指して、さらに機能開発を進めていきます。