はじめに：錬金術を精密制御！ControlNetの世界へ

実践編1では、Stable Diffusionの基本操作とプロンプト、パラメータ調整によって様々な素材を生成する基本をマスターしました。しかし、時には「このキャラクターに、絶対にこのポーズを取らせたい！」「この背景の構図は変えずに、画風だけを適用したい！」といった、より精密なコントロールが必要になる場面が出てきます。

そこで登場するのが、「ControlNet」です。これは、Stable Diffusionの画像生成プロセスに対して、プロンプトだけでは難しかった「構造」や「形状」に関する情報を追加で与え、生成結果をより強力に制御するための画期的な拡張機能です。

この「実践編2」では、ControlNetの基本的な使い方から、動画素材生成に特に役立つ主要なモデルの活用法、さらには複数のモデルを組み合わせた応用テクニックまでを学び、あなたの素材生成スキルをプロフェッショナルなレベルへと引き上げます。

ControlNetの基本操作：Web UIでの設定方法

Stable Diffusion Web UI（EasyForgeやGoogle Colabで起動したもの）のtxt2imgタブまたはimg2imgタブの下部に、「ControlNet」というセクションがあります。（表示されていない場合は、▼をクリックして展開してください）ここでControlNetの設定を行います。

主要な設定項目と流れ

  1. ユニットの選択：ControlNetは複数のユニット（Unit 0, Unit 1, ...）を同時に利用できます。まずは「Unit 0」を使ってみましょう。
  2. Enable (有効化)：このチェックボックスにチェックを入れることで、そのControlNetユニットが有効になります。チェックを入れ忘れると、設定しても効果がないので注意してください。
  3. 制御画像の入力：ControlNetに参照させたい画像（ポーズ画像、線画、深度マップなど、制御の種類によって異なる）を、画像入力エリアにドラッグ＆ドロップするか、クリックしてアップロードします。（Preprocessorを使う場合は、ここに元画像を入れます）
  4. Control Type (制御タイプ)：使用したい制御の種類を選択します。OpenPose, Canny, Depth, Lineartなど、様々な種類があります。これが制御の「目的」を決定します。
  5. Preprocessor (前処理)：多くの場合、手順3で入力した元画像から、制御に必要な情報（骨格、線画、深度など）を自動的に抽出するための前処理を選択します。例えば、Control Typeで「OpenPose」を選んだら、Preprocessorでも「openpose_full」などを選びます。基本的に、Control Typeと対応したPreprocessorを選択します。「none」を選ぶと、手順3で入力した画像が前処理なしで直接制御モデルに使われます（例：自分で作成したポーズ画像を使う場合など）。
  6. Model (制御モデル)：選択したControl Typeに対応する学習済みモデルを選択します。Preprocessorによって抽出された情報を解釈し、Stable Diffusion本体に指示を伝える役割を担います。
  7. Control Weight (影響度)：ControlNetによる制御の強さを調整します（通常0〜2）。1.0が基本ですが、値を大きくすると制御が強まり、小さくすると弱まります。
  8. Starting Control Step / Ending Control Step：画像生成プロセスのどの段階からどの段階までControlNetを適用するかを調整します（通常はデフォルトの0と1でOK）。
  9. Control Mode (制御モード)：プロンプトとControlNetのどちらを優先するかなどを調整します。
    • Balanced：プロンプトとControlNetのバランスを取ります（デフォルト）。
    • My prompt is more important：プロンプトの内容をより優先します。
    • ControlNet is more important：ControlNetによる制御をより優先します。
  10. Resize Mode (リサイズモード)：入力画像と生成画像のサイズが異なる場合の処理方法を指定します（通常はデフォルトの「Just Resize」で問題ないことが多いです）。

（※UIのバージョンや拡張機能によって、項目名や表示が若干異なる場合があります。）

基本的には、「Enable」にチェックを入れ、元画像を入力し、Control Typeと対応するPreprocessor、Modelを選択し、必要に応じてWeightやControl Modeを調整する、という流れになります。

主要モデル解説：動画素材生成への応用

ControlNetには多数のモデルがありますが、ここでは特に動画編集素材の生成に役立つ主要なモデルについて、その機能、使い方、応用例を解説します。（AI変身動画講座で触れた内容も含まれますが、素材生成の観点から再整理します）

1. OpenPose：キャラクターのポーズを自在に操る

  • 機能：人物やキャラクターの骨格（ポーズ）を検出・制御します。
  • Preprocessor例：openpose_full（顔・手を含む全身）、openpose（体のみ）、openpose_faceonly（顔のみ）など。
  • Model例：control_..._openpose
  • 使い方：ポーズを取りたい元画像をControlNetの画像欄に入れ、Preprocessorで「openpose_full」などを選択。プロンプトでキャラクターの見た目や服装などを指示します。詳細なキャラクター情報を効率的にプロンプト化したい場合は、レベル2「キャラクター特化」指示書も活用できます。（レッスン4.5参照）
  • 注意点：複雑すぎるポーズや、隠れている部分はうまく認識・生成できない場合があります。

2. Depth：奥行きと立体感をコントロール

  • 機能：画像の深度情報（奥行き）を推定・制御します。
  • Preprocessor例：depth_leres++, depth_zoeなど。
  • Model例：control_..._depth
  • 使い方：構図の参考にしたい元画像をControlNetに入れ、Preprocessorで「depth_leres++」などを選択。プロンプトでシーンの内容や画風を指示します。高品質な背景プロンプトは、レベル2「背景特化」指示書で効率的に作成できます。（レッスン4.5参照）
  • 注意点：深度推定は完璧ではなく、細かい部分で不自然になることがあります。Weight調整が重要です。

3. Reference Only / IP-Adapter：スタイルや顔の特徴を引き継ぐ

  • 機能：参照画像（Reference Image）のスタイル、色味、構図、あるいは顔などの特徴を、生成する画像に強く反映させます。（IP-Adapterはより高度な画像プロンプト機能です）
  • Preprocessor例：reference_only, ip-adapter_clip_sd15, ip-adapter_plus_sd15 など。
  • Model例：(Reference Onlyでは通常不要), ip-adapter_sd15, ip-adapter-plus-face_sd15 など。
  • 使い方：引き継ぎたいスタイルや特徴を持つ画像をControlNetに入れ、適切なPreprocessor/Modelを選択。Control Modeの設定（Balanced, Prompt is more important, Reference/Style is more important）で影響度を調整します。変更したい内容を明確にしたプロンプト作成には、レベル2の各種特化指示書が役立ちます。（レッスン4.5参照）
  • 注意点：参照画像の影響が強すぎると、プロンプトの指示が無視されることがあります。Control ModeやWeightの調整が鍵です。

4. Lineart / Canny / SoftEdge：線画や輪郭で形状をガイド

  • 機能：元画像から線画（Lineart）やエッジ（輪郭 - Canny, SoftEdge）を抽出し、それをガイドとして画像を生成します。形状のコントロールに有効です。
  • Preprocessor例：lineart_anime, canny, softedge_hed など。
  • Model例：control_..._lineart, control_..._canny, control_..._softedge
  • 使い方：形状の参考にしたい元画像をControlNetに入れ、適切なPreprocessorを選択。プロンプトで色や質感を指示します。自分で描いた線画を使う場合は、Preprocessorを「none」や「invert (from white bg & black line)」などにし、Modelを選択します。着色や質感付与のためのプロンプト作成は、レベル1指示書や関連する特化指示書で行えます。（レッスン4.5参照）
  • 注意点：元の線画やエッジの品質が生成結果に影響します。Cannyは細かいノイズも拾いやすい場合があります。

5. Tile：高解像度化とディテール統一

  • 機能：画像をタイル状に分割して処理することで、高解像度化（アップスケール）や、画像全体のディテール・質感の統一を行います。
  • Preprocessor例：tile_resample, tile_colorfix など。
  • Model例：control_..._tile
  • 使い方：高解像度化したい、またはディテールを統一したい画像をControlNetに入れ、Preprocessorで「tile_resample」などを選択。プロンプトは元画像の維持を促すか、変更したいスタイルを指定します。img2imgタブのアップスケール機能と併用することも多いです。
  • 注意点：処理に時間がかかる場合があります。画像によってはタイル境界が不自然に見えることも。

応用テクニック：複数ControlNetの組み合わせ

ControlNetの真価は、複数のユニットを同時に有効にし、それぞれの制御を組み合わせることで発揮されます。これにより、単一のモデルでは不可能な、より複雑で精密なコントロールが可能になります。

組み合わせ例（動画素材生成向け）

  • OpenPose + Reference Only (または IP-Adapter Face)：特定のポーズを取り、かつ特定のキャラクターの顔を維持した素材を生成。動画シリーズで同じキャラクターに様々なポーズを取らせたい場合に最適。
  • OpenPose + Depth：特定のポーズを取り、かつ背景との奥行き関係を維持した素材を生成。複雑な背景でのキャラクター素材生成に有効。
  • Lineart + Tile：線画で形状をガイドしつつ、Tileでディテールや質感を高める/統一する。ロゴやアイコン、テクスチャ素材の生成に応用可能。
  • Canny (または SoftEdge) + Reference Only：輪郭（形状）を維持しつつ、参照画像から色味やスタイルを引き継ぐ。既存素材のスタイル変換などに。

組み合わせのポイントは試行錯誤！ 各ユニットのWeight（影響度）やControl Modeを調整し、どの制御をどの程度優先させるかのバランスを探ることが重要です。AIアシスタントに「OpenPoseの影響を強くして、Reference Onlyは少し弱めにしたい」のように相談しながら進めるのも良いでしょう。複数の制御を行う複雑なプロンプト作成には、レベル2の特化指示書をベースに考えるのが効率的です。（レッスン4.5参照）

実践ワーク：ControlNetで狙い通りの素材を作ってみよう！

それでは、学んだ知識を活かして、ControlNetを使った素材生成を実践してみましょう。

ワーク例1：OpenPoseでポーズを指定したキャラクター生成

  1. 元画像準備：特定のポーズ（例：手を挙げている、座っている）をしている人物の写真やイラストを用意します。（ネット検索や自分で撮影など）
  2. ControlNet設定 (Unit 0)：
    • Enable：チェック
    • 画像入力：用意した元画像をアップロード
    • Control Type：OpenPose
    • Preprocessor：openpose_full
    • Model：control_..._openpose
    • Weight：1.0 (最初はポーズを強く反映させる)
  3. プロンプト設定：生成したいキャラクターの見た目（例：「anime style girl, blue hair, school uniform」）や背景などをプロンプトに入力。（レベル2「キャラクター特化」指示書を使うと便利です）
  4. 生成＆調整：Generateボタンをクリック。生成された画像のポーズが元画像と一致しているか確認。キャラクターの見た目がプロンプト通りでない場合は、プロンプトを修正。ポーズが強すぎる/弱すぎる場合は、ControlNetのWeightを調整（例：0.8など）。

ワーク例2：Reference Onlyでスタイルを維持した背景バリエーション生成

  1. 参照画像準備：基準としたい画風や雰囲気を持つ背景画像を用意します。
  2. ControlNet設定 (Unit 0)：
    • Enable：チェック
    • 画像入力：用意した参照画像をアップロード
    • Control Type：（Reference Onlyを使う場合はPreprocessor側で指定するので、Allなどでも良いが、便宜上 Tileなどを選んでおく）
    • Preprocessor：reference_only
    • Model：（Preprocessorがreference_onlyなら通常不要）
    • Control Mode：Balanced または ControlNet is more important を試す。
  3. プロンプト設定：生成したい背景の内容をプロンプトで指示します（例：「a quiet library, many bookshelves」）。このプロンプトは参照画像の内容と多少異なっていても構いません。（レベル2「背景特化」指示書でプロンプトを作成するのも有効です）
  4. 生成＆調整：Generate。生成された背景が、参照画像のスタイルや雰囲気を引き継いでいるか確認。引き継ぎが弱い場合はControl Modeを「ControlNet is more important」にしたり、Weightを上げたりする。プロンプトの影響を強めたい場合は「My prompt is more important」に。

これらのワークを通して、ControlNetの基本的な使い方と、パラメータ調整による結果の変化を体感してください。

まとめと次のステップ：精密制御スキルを手に入れた！

お疲れ様でした！この「実践編2」では、ControlNetという強力な武器を手に入れました。

  • ControlNetの基本的な概念とWeb UIでの設定方法を理解した。
  • OpenPose, Depth, Reference Only/IP-Adapter, Lineart/Canny/SoftEdge, Tileなど、動画素材生成に役立つ主要モデルの機能と使い方を学んだ。
  • 複数のControlNetを組み合わせて、より高度な制御が可能になることを知った。
  • 実際にControlNetを使って、狙い通りの素材を生成するワークを体験した。

ControlNetを使いこなすことで、あなたは単にAIに「お任せ」で画像を生成する段階から、AIを「意のままに操り」、より創造的で高品質な素材を生み出す「真の錬金術師」へと大きくステップアップしました。

次の「7. 応用編：動画編集で「使える」素材にするための仕上げ術」では、これまで生成してきた素材を、動画編集で実際に活用するために、高解像度化や透過処理、ループ素材の考え方など、さらに実践的な「仕上げ」のテクニックを学んでいきます！

広告