AIによる動画要約
この要約は、AIを使用してYouTube動画の字幕から自動生成されました。動画の内容を理解する一助となれば幸いです。
この動画では、CapCutのAI動画生成機能「Seaweed V1.0」モデルを使用した変身動画のプロンプト研究と、その効果について解説しています。
なお、この要約文は「YouTube動画字幕からの要約生成指示書セット」を使用して作成しました。
CapCut「Seaweed V1.0」モデルによる変身動画の進化
CapCutの動画生成機能、特に「Seaweed V1.0」というモデルが変身動画の生成において大きく進化したことを紹介しています。
このモデルは、ある対象が別のものへ滑らかに変化する動画作成に特化しており、プロンプトなしでも約8割の高い成功率を実現すると述べています。
従来の動画生成AIではプロンプトの調整が難しく、元画像によっては滑らかな変身が困難でしたが、Seaweed V1.0により誰でも簡単に再現性の高い変身動画を作成できるようになりました。
プロンプト生成ツールの活用とAIによるプロンプト作成
投稿者は、変身動画の成功率をさらに高めるためにプロンプトを活用する研究を行っています。そのために、自身が運営するホームページで提供している「妖怪変身動画プロンプト生成指示書セット」という有料ツールを紹介。
このツールは、テーマや変身前後の詳細などを入力することで、Google AI StudioやChatGPTなどのAIに投げるための指示書を生成し、変身用のプロンプトを効率的に作成できるものです。
動画内では、このツールを使って「日本の老若男女が日本の有名な妖怪に変身する」というテーマで、Google AI Studio（Gemini 2.5 Pro）を使用して10パターンの変身前後のプロンプトを生成する手順を実演しています。
生成プロンプトによる画像生成とCapCutでの動画化検証
AIで生成されたプロンプトを基に、EasyForgeという画像生成AIツールを使用して変身前後の画像を20枚作成します。
これらの画像をCapCutに読み込み、Seaweed V1.0モデルを使って変身動画を生成するプロセスを実演。
まず、雪女風の女性への変身動画を作成し、プロンプトなしでも非常に滑らかで高品質な変身が実現できることを示します。投稿者は、変身前後の画像が似ていればいるほど成功率が高く、プロンプトが逆に変身の邪魔をする可能性もあると指摘しています。
プロンプトによる変身品質向上の試みと考察
次に、少年がカッパに変身する動画を例に、プロンプトの効果を検証します。プロンプトなしで生成した場合、背景はほぼ変わらず被写体のみがぼやけながら変身する、ある程度成功した動画が生成されました。
この結果に対し、「Smooth Transforms」や「Seamless Morphing」など6種類の短い英語プロンプトを与えて変身動画を再生成し、品質の変化を比較。
結果として、「Graceful Transition」というプロンプトで帽子が回転しながらカッパに変身する理想的な動画が一度生成されましたが、AIのランダム性により毎回同じ結果にはならず、多くの場合はプロンプトの有無や種類による大きな差は見られませんでした。
Seaweed V1.0におけるプロンプトの有効性と元画像の重要性
複数のプロンプトを試した結果、CapCutのSeaweed V1.0モデルにおいては、プロンプトで変身の質を細かく制御するのは効果的ではないと結論付けています。
重要なのは、変身前と変身後の画像の類似性、特に色味や構図、背景の統一感です。
例えば、少年が天狗に変わる場合、元の画像同士が全く異なると成功率は著しく低下します。
逆に、少女が座敷童子に変わる例では、服装の色や背景の雰囲気に共通点があるため、比較的スムーズな変身が期待できます。
完璧を目指すなら、インペイントなどの画像編集技術で元画像を調整し、類似性を高めることが画像生成における成功率向上に繋がると述べています。
補足情報
- CapCut：ByteDance社が提供する無料の動画編集アプリおよびソフトウェア。スマートフォン版とPC版があり、直感的な操作で高度な動画編集が可能です。AIを活用した機能も豊富に搭載されています。
- プロンプト：AIに対して特定の出力（テキスト、画像、動画など）を生成させるための指示や命令文のこと。AI動画生成においては、どのようなシーンや動き、スタイルを求めるかを記述します。
- インペイント（Inpainting）：画像編集技術の一つで、画像内の不要なオブジェクトを削除したり、欠損部分を周囲の画像情報に基づいて自然に修復・補完したりする機能。AI画像生成においては、特定の領域を指示通りに修正・追加するためにも用いられます。
変身過程やエフェクトのプロンプト制御に関する追加実験
最後に、変身の「過程」や「エフェクト」をプロンプトで指定できるか検証します。
「人物像と状況設定がスムーズに新しい形へモーフィングする」といった、人と背景を区別して変化を指示するプロンプトや、「光の粒子への分解と再構築」「桜吹雪が包み込む」「力強く回転する」といった具体的なエフェクトや動きを指示するプロンプトを試しました。
結果、光の粒子エフェクトは一度成功したものの再現性は低く、桜吹雪や力強い回転、次元の狭間といった複雑な指示はほぼ反映されませんでした。これは、Seaweed V1.0モデルが基本的にスムーズな変身に特化しており、被写体の動きや派手なエフェクト追加の自由度は低いことを示唆しています。
まとめ：CapCut Seaweed V1.0での動画生成は元画像の質が最重要
この動画では、CapCutのAI動画生成機能「Seaweed V1.0」モデルにおけるプロンプトの有効性について多角的に検証しました。
実験の結果、このモデルはプロンプトなしでも非常に高品質な変身動画を生成できる一方で、プロンプトによる変身の細かな制御や複雑なエフェクトの追加は難しいことが明らかになりました。
成功率を高めるためには、プロンプトの工夫よりも、変身前と変身後の画像の類似性（色味、構図、背景の統一感など）を高めることが最も重要であると結論付けられています。
投稿者は、自身のAI変身動画講座で、より詳細なノウハウや画像調整技術（インペイントなど）についても解説していると紹介しています。
