実写動画をAIで自在に変換
高精度なマスク機能とLoRAを活用し、あなたの動画をアニメや3Dキャラクターへ。
環境構築不要、Pythonコードを書かずにGUIで操作可能です。
1. Wan 2.2 Animate (WanGP) とは? - 概要とメリット
Wan 2.2 Animateは、動画から動画を生成する「Video-to-Video」技術に特化した最新のAIモデルです。実写動画の動き(モーション)を維持したまま、被写体だけをアニメキャラクターや戦国武将、3Dモデルなどに違和感なく置き換えることが可能です。
今回使用するツール「WanGP」は、このWanモデルをブラウザ上で直感的に操作できるGradioベースのWeb UIです。複雑なPythonコードを書く必要がなく、Google Colab上で手軽に実行できるのが最大の特徴です。
主な特徴とメリット
- 高精度な人物マスク機能: 動画内の人物だけを正確に切り抜き、背景を維持したままキャラクターのみを変更できます。
- 動きの完全トレース: 元動画の手の動きや表情を忠実に再現します。
- クラウドで実行: 高価なGPUを持っていなくても、Google Colabのクラウド環境(A100 GPU推奨)で動作します。
2. 必要な準備(環境構築)
まずはGoogle Colabを使ってWanGPを起動する準備を行います。Googleアカウントが必要です。
Google Colabノートブックの準備
概要欄やコミュニティで配布されている「WanGP」のColabノートブックにアクセスします。自分のGoogleドライブにコピーを保存してから使用することをおすすめします。
- Colabノートブックを開く。
- メニューの「ランタイム」→「ランタイムのタイプを変更」で、ハードウェアアクセラレータがGPU(A100推奨)になっているか確認します。
- 上から順にセルを実行(再生ボタンをクリック)していきます。
注意: VRAM消費が激しいため、無料版ColabのT4 GPUでは動作しない場合や、処理が非常に遅くなる可能性があります。快適に利用するにはColab Pro(月額約1,179円〜)以上の契約でA100 GPUを利用することを推奨します。
UIの起動
すべてのインストールとセットアップが完了すると、最後にGradioの公開リンク(Running on public URL: https://....gradio.live)が表示されます。これをクリックしてWeb UIを開きます。
3. 実装・使い方の解説
WanGPを使った具体的な動画生成の手順を解説します。
Step 1: モデルとLoRAの設定
画面上部のタブで「Wan2.2」を選択し、モデルとしてAnimate 14Bを選びます。
次に「Choose a Lora」で処理速度と品質のバランスを決めます。
- 10 Steps: クオリティ重視。生成に時間はかかりますが、滑らかな結果が得られます。
- 4 Steps: 速度重視。短時間で試行錯誤したい場合に適しています。
選択後は必ず「Apply」ボタンを押して適用してください。
Step 2: マスクの作成(Video Mask Creator)
ここが最も重要な工程です。動画内の「変換したい部分(人物)」と「そのまま残したい部分(背景)」をAIに教えます。
- 「Video Mask Creator」タブに移動します。
- 元となる動画(5秒程度推奨)をアップロードし、「Load Video」をクリック。
- 右側のプレビュー画面で、人物の上をクリックしてマスク範囲を指定します。青く表示された部分がマスクです。
- 人物全体が覆われるように数回クリックし、「Add Mask」で確定します。
- 「Generate Video Matting」をクリックすると、動画全フレーム分のマスクが自動生成されます。
- 最後に「Export to Control Video...」ボタンを押し、メイン画面へ転送します。
Step 3: 参照画像の準備と生成
人物をどのようなキャラクターに変換するかを決める「参照画像(Reference Image)」を設定します。
画像生成AI(Gemini, Midjourney, Stable Diffusionなど)を使って、変換したいスタイルの画像を用意しましょう。例えば「戦国武将」「ピクサー風3Dキャラ」「女性アニメキャラ」などの画像を生成し、PCに保存します。
- メイン画面の「Reference Images」に用意した画像をアップロードします。
- 「Resolution Budget」で解像度を設定します(例: 832x480)。
- 「Number of Frames」で動画の長さを設定します。元の動画尺(秒数 × fps)に合わせて調整してください。
- 「Advance Mode」を開き、Guidance (CFG) を
1.5程度に設定します。これによりノイズを抑制し、指示に従いやすくなります。 - 「Generate」ボタンをクリックして生成開始です。
4. 応用・注意点
処理時間の目安
A100 GPUを使用した場合、5〜6秒の動画生成にかかる時間は以下の通りです。
- 10 Steps: 約13分
- 4 Steps: 約4分
長時間の動画を一気に生成するとエラー落ちするリスクがあります。1分以上の動画を作りたい場合は、10〜20秒ごとにカットして生成し、後で動画編集ソフト(DaVinci Resolveなど)で繋げる方法が確実です。
リサイズによる最適化
エラーを防ぐテクニックとして、アップロードする「元動画」と「参照画像」の解像度を統一しておくことが有効です。Pythonスクリプトやリサイズツールを使って、あらかじめ832x480などにリサイズしておくと、処理がスムーズになります。
5. まとめ
Wan 2.2 AnimateとWanGPを使用することで、専門的な知識がなくてもブラウザだけで高度なVideo-to-Videoが可能になります。特にマスク機能の精度が高く、背景を維持したまま人物だけを別キャラクターに変身させるクオリティは圧巻です。
SNS用のショート動画作成や、顔出しなしでの動画配信など、クリエイティブな用途にぜひ活用してみてください。
この記事の自動化に使われた技術と思考法は、
すべて以下のアカデミーでインストールできます。