プロの映像屋でも必須ツールの「Photoshop」　β版にやってきた、3つの最新AI機能をチェックする

映像のプロにとって、Photoshopは必須のツールである。業界以外の人からすると、動画の人は静止画アプリを使わないと思っている人が意外に多いのにびっくりする。動画コンテンツ制作において静止画素材を使わないということはほぼなく、写真や図解、ロゴなどを扱う場合は、ほぼPhotoshopで処理を行うことになる。逆に言えば、編集ツールは色々な派閥があるが、静止画処理でPhotoshop以外のツールを使う人は少数派ではないだろうか。

　そんな定番のPhotoshopが、7月末公開のベータ版26.11でかなりの新機能が追加されている。そのうち正規バージョンにも追加されると思われるが、一部の機能は米Adobe「Premiere Pro」に搭載予定の機能を前倒しして、実装されている。

　今回は、Photoshopのベータ版26.11に搭載された新機能を実際に使ってみて、静止画処理の今と、動画処理の未来について考える。

拡大をサポートする「生成アップスケール」

　一般に写真は動画よりも高解像度である場合が多く、写真を動画の中で使う場合には縮小処理を行う。一方でサイトのスクリーンショットの一部を切り出す場合や、低解像度の写真を使用する場合には、拡大処理が必要になる。

　拡大処理を行えば通常は画像が荒れたりボケたりするため、拡大するにも限界があるわけだが、これをAIで補完するのが「生成アップスケール」だ。メニューの「イメージ」から選択すると、専用ダイアログが出てくる。プリセットとしては2倍、3倍、4倍があるが、長編が4096を超えられないようだ。

　テストしたオリジナルファイルは1467×976ピクセルで、HD解像度にも満たないが、2倍拡大すればトリミングしても十分対応できる。

　単純な2倍拡大に比べると、肌のディテールを残したまま拡大されていることがわかる。拡大特有のボケ感やのっぺりした感じが少ないのがポイントだ。動画編集ツールで拡大するより、下処理としてPhotoshopで生成アップスケールを使った方が良好な結果が得られるだろう。

　AIによる拡大補完処理は、編集ツールではすでに「DaVinci Resolve」には実装されている。こちらも2倍から4倍までの整数倍拡大となっている。ただし動画で拡大処理を行うと、とてもリアルタイムでは再生できない。

　この機能はいずれPremiere Proにも実装されるだろうが、やはり同じくリアルタイムでは再生できないだろう。しかしこれまでPremiere ProのAI処理は、リアルタイム処理ではなく一旦レンダリングする格好で実装しているので、おそらくAI拡大処理もレンダリングしてしまうという方向で実装される可能性が高い。

合成時の「馴染みが悪い」をAIが解決する「調和」

　複数の画像を合成する際には、「コラージュ」としてあえて組み合わせたことを明示的に表現する場合と、合成であることを隠して最初からそうであったかのように表現する場合がある。

　後者が大変なのは、撮影された状況、すなわちカメラや照明、ホワイトバランスなどが全く違う絵を組み込むため、そのままでは背景と馴染まないことだ。これをクリアするために、合成する映像にはカラーグレーディングが必須となる。

　しかしこれは慣れていないとどうすればいいのか見当もつかないだろうし、慣れていても満足いく結果になるまで、大変に時間がかかる作業である。

　これをAIの力で一気に処理するのが、「調和」という機能だ。合成したい映像をレイヤーで重ね、メニューの「レイヤー」から「調和」を選択するだけで、AIが自動的に馴染むよう調整してくれる。

　例として、海岸にある椅子を複製して反転し、横に配置してみた。そのままではいかにも貼り付けましたといった格好だが、「調和」を選択すると、合成画像のコントラストや色味を調整してくれるだけでなく、影も付けてくれる。これを手動でやっていたら大変な作業だ。

　これは動画でも重宝されるだろう。実写動画の合成は、動くマスクを生成することが難しいため、多くはクロマキーバックで撮影される。被写体と背景までの距離が十分に取れれば、被写体と背景に別の照明を施すことができるが、日本の場合はスタジオが小さい、低予算であるなどの条件が重なり、背景のグリーンやブルーが被写体に色かぶりを起こすことが多い。

　これをカバーするため、編集ツールのクロマキーでは、「Suppress」という、クロマキーで使用している色位相と逆相の色を当て込む機能を持つものがある。ただこれは色かぶりを除去するだけのことであり、背景に対して馴染ませるという機能ではない。ましてや自然な影を付けるには、撮影素材の影をそのまま使う以外にはあまり方法がなかった。

　課題は、動きのある物体に対する影の整合性だろう。1コマずつのフレーム処理になるわけだが、毎回新たに演算していては、連続性が保てない。画像全体をAIで生成する場合と違い、既存の背景に対してどのように処理するべきか、動画処理アルゴリズムを考えるだけで頭痛がする。この機能が動画に載るまでは、かなり時間がかかるだろう。むしろ背景映像をRAGとして学習させ、全体をAIで生成させるといった、従来とは全く違うアプローチの方が早いかもしれない。

合成素材を1つにまとめられる「プロジェクト」

　動画編集ツールでは、プロジェクト単位でコンテンツを管理している。動画や音声、静止画などの素材と、バージョン違いの編集結果などを1つのプロジェクト内に集めて、全体をセーブ・ロード、あるいは共有するという考え方だ。

　Photoshopにもこのような「プロジェクト」の考え方が導入される。画面上部にあるホームアイコンをクリックしてホームへ行くと、「プロジェクト」という項目が増えている。ここで「プロジェクトを作成」をクリックすると、プロジェクト名を決定したのち、共有相手を設定できる。メールアドレスを入力すると、相手にメールで共有情報が送信される。

　共有された相手は、メールで届いた共有リンクをクリックすると、ブラウザ上で共有ファイルを見ることができる。

　プロジェクトには、PSDファイルのほか、「Illustrator」ファイルが追加できる。基本的にはPhotoshopで開けるファイルということになるが、それ以外のファイルも追加できる。例えばサンプルで追加しているのは、「Adobe Express」で生成した画像だ。ただこれをクリックしてもファイルが開けるわけでもなく、今のところ追加できるだけで行き止まりになっている。ベータ版なので、まだこの先の連携ができていないということかもしれない。

　加えて追加できるファイルは、Adobeのクラウド上にアップロードされているものに限られる。「追加」というよりは、「移動」である。ローカルにあるファイルは、今のところ追加できないようだ。

　ワークフローという点では、素材や作業中のファイルを最初からクラウドに置いておくというのは、静止画作業をやる人に限られる。動画クリエイターは扱うファイルが大きいので、作業中のファイルはローカルに持つことが多い。むしろプロジェクトに素材を追加すると、共有のためにクラウドに上がるというフローの方が自然である。

　しかし、ファイル単位でしか扱えなかったPhotoshopにプロジェクトという概念が取り込まれたのは興味深い。将来的にはプロジェクトというフォーマットが、Adobeのアプリ内で共通化されていく可能性もある。動画、静止画、音声、PDFなど、Adobe製品で扱えるファイルを1つのプロジェクトにまとめて管理・共有を行っていくという、大きな流れの中にあるのかもしれない。