激ムズ！AIで雪が積もって建物になる動画生成！各種ツールを駆使した挑戦の記録

2025年2月28日

Table of Contents

AIによる動画要約

この要約は、AIを使用してYouTube動画の字幕から自動生成されました。動画の内容を理解する一助となれば幸いです。

この動画では、視聴者からリクエストのあった「雪が降り積もり、3Dプリンターのように雪の建物が完成する動画」の制作に挑戦しています。画像生成AIと動画生成AIを駆使し、試行錯誤しながら動画を完成させていく過程を解説しています。

なお、この要約文は「YouTube動画字幕からの要約生成指示書セット」を使用して作成しました。

まず、雪が降り積もって城が完成する様子を表現するため、画像生成AIで画像を生成します。Stable DiffusionとGoogle AI Studio (Gemini 2.0 Pro) を活用し、雪原から徐々に雪の城が完成していく様子を表現する複数の画像を生成します。

具体的には、以下の手順で画像を生成しました。

指示書（プロンプト）の作成: Google AI Studioを使用し、「雪が徐々に降り積もり、最後は城になる」というテーマで、初期状態（何もない雪原）、完成後の詳細（雪でできたお城）、中割りの詳細（25%、50%、75%完成）などを指定した指示書を新たに作成しました。
プロンプトの生成: 作成した指示書を基に、Google AI Studioで詳細なプロンプトを生成しました。
画像の生成: Stable Diffusionでプロンプトを使用し、スタートフレーム、中割り（複数枚）、エンドフレームの画像を生成しました。
画像の選定と調整: 生成された画像の中から、イメージに合うものを選定し、必要に応じてプロンプトを修正したり、画像のコントラストなどを調整しました。

Stable Diffusion: オープンソースの画像生成AIモデル。高品質な画像を生成できることで知られています。
Google AI Studio (Gemini 2.0 Pro): Googleが提供するAIプラットフォーム。Gemini 2.0 Proは、テキストや画像など、複数の種類のデータを処理できるマルチモーダルAIモデルです。

生成した画像を元に、Stable DiffusionのImg2img機能を活用し、より自然な表現を模索しました。

Img2imgの役割: Img2imgは、ある静止画を別の静止画に変換する機能です。ここでは、雪の城が徐々に出来上がっていく様子を、より細かく表現するために、生成した画像の変化の度合いを調整したり、中間の状態を生成するために使用しました。
具体的な手順:
1. 初期画像と最終画像の準備: スタートフレームとエンドフレームの画像を用意。
2. 中間画像のプロンプト入力: 中間状態（25%、50%、75%）のプロンプトをImg2imgのプロンプト入力欄に入力。
3. スクリプトの使用: x/y/z plotスクリプトを使用し、Denoisingの値を段階的に変化（0.7, 0.8, 0.85, 0.9, 1）。

動画生成AIを使用して、動画生成を試みました。

CapCutの利用: CapCutの動画生成AIを使用し、生成された画像を基に動画生成を試みました。
プロンプトの試行錯誤: Google AI Studioで生成した複数のプロンプトをCapCutに入力し、動画生成を試みましたが、激しいカメラワークのみになったり、意図した通りに雪が積み上がっていく様子を表現できませんでした。
画像の修正: CapCutでの生成結果を踏まえ、背景の山を削除するなど、画像の修正を行い、再度動画生成を試みましたが、期待する結果は得られませんでした。
アスペクト比の変更: アスペクト比を9:16から16:9に変更し、再度画像生成からやり直し、動画生成を試みましたが、同様にカメラ移動が主な表現となり、目的の動画は生成できませんでした。
KLING AIの利用: CapCutと同様に、KLING AIでも動画生成を試みましたが、同様の結果となりました。