様々なAI生成画像が並び、「Master AI Morphing The Ultimate ControlNet Guide」と書かれたバナー画像。ControlNetとFlux.1 [dev] モデルを組み合わせたAI変身動画制作に関するガイドの紹介です。AI, ControlNet, Flux.1 [dev], 変身動画

ControlNetFlux(CNFlux)でAI動画制作が変わる！Flux.1 [dev]対応モデル活用術＆厳選リスト

2025年3月20日

はじめに：ControlNetで広がるAI変身動画の世界

ControlNetは、画像生成AIの表現力を飛躍的に向上させる強力なツールです。特に、Flux.1 [dev] モデルと組み合わせることで、AI変身動画制作において、これまで以上に細かく、自由度の高い表現が可能になります。

このガイドでは、CIVITAIで公開されているControlNetFlux (CNFlux) コレクションだけでなく、Hugging Faceやその他の情報源から見つけられる、Flux.1 [dev] で利用可能なControlNetモデルを網羅的に紹介します。各モデルの機能、AI変身動画への活用例、注意点などを詳しく解説し、あなたの創造力を最大限に引き出すための情報を提供します。

ControlNetFlux (CNFlux)とは？

ControlNetFlux (CNFlux)は、最先端の画像生成AIモデル「Flux.1 [dev]」の能力を最大限に引き出すために開発された、ControlNetモデルのコレクションです。CIVITAIで公開されており、ComfyUIやForgeなどの環境で利用できます。

CIVITAIのControlNetFlux (CNFlux)コレクションページ: https://civitai.com/models/649271/controlnetflux-cnflux

このコレクションは、Flux.1 [dev] 用のControlNetモデルをまとめてダウンロードできる便利な場所を提供することを目的としています。

ControlNetFlux (CNFlux)と関連モデル一覧

以下に、Flux.1 [dev] で利用可能なControlNetモデルを、提供元ごとに分類してリストアップします。

XLabs-AI

flux-ip-adapter (v1 & v2): 画像とテキストを組み合わせたプロンプトで、スタイルや要素を細かく制御。
flux-controlnet-hed-v3: HED (Holistically-Nested Edge Detection) で、滑らかな輪郭を維持しつつ構造を制御。
flux-controlnet-depth-v3: 深度マップで、奥行きを考慮した構図制御や立体感の強調。
flux-controlnet-canny-v3: Cannyエッジ検出で、輪郭を強調。
x-flux-comfyui: 上記モデルをComfyUIで利用するためのカスタムノード。

Shakker-Labs

FLUX.1-dev-ControlNet-Union-Pro: canny, tile, depth, blur, pose, gray, low qualityの7つの制御モードを統合。
FLUX.1-dev-ControlNet-Depth: Depth ControlNet。

TheMistoAI

MistoLine_Flux.dev: 線画やアウトラインスケッチに特化。

alimama-creative

FLUX.1-dev-Controlnet-Inpainting-Beta: インペイント用。画像の一部を修復・変更。

Jasper AI

Flux.1-dev-Controlnet-Upscaler: 低解像度画像の高解像度化。
Flux.1-dev-Controlnet-Surface-Normals: Surface Normalsマップで3D形状を制御。

windsingai

FLUX_OpenPose: OpenPoseモデル。

raulc0399

flux_dev_openpose_controlnet: OpenPoseモデル。

promeai

FLUX.1-controlnet-lineart-promeai: Lineartモデル。

lucataco

flux-dev-controlnet-qr-code: QRコード生成 (詳細不明)。
lucataco-fill10k: 詳細不明。

その他 (Hugging Faceで見つけたモデル、または関連モデル)

InstantX/FLUX.1-dev-Controlnet-Canny: Cannyエッジ検出。
Shakker-Labs/FLUX.1-dev-ControlNet-Union-Pro (mode "gray" (5) を使用): セグメンテーション(semantic segmentation)による制御。
FLUX.1-dev-Controlnet-Normal: 法線マップ(Normal Map)による制御。
promeai/FLUX.1-controlnet-lineart-promeai: 線画(Lineart)による制御。
TheMistoAI/MistoControlNet-Flux-dev (GitHub): 線画(Lineart)による制御 (TheMistoAI製、ComfyUIスイートが必要)。
Shakker-Labs/FLUX.1-dev-ControlNet-Union-Pro: ラフスケッチ(Scribble)を含む複数の制御タイプをサポート。

各モデルの詳細解説とAI変身動画への活用

上記の各モデルについて、機能、AI変身動画への活用例、注意点などを詳しく解説します。

共通事項

ComfyUIでの利用: 多くのモデルはComfyUIで利用できます。一部のモデルは、カスタムノードが必要な場合があります。
ControlNet Weight (影響度): ControlNetの効果の強さを調整するパラメータ。通常は0.5〜1.0の範囲で調整します。
Preprocessor: ControlNetに入力する画像を前処理するためのモジュール。モデルによって適切なPreprocessorが異なります。

XLabs-AI

flux-ip-adapter (v1 & v2):
- 機能: テキストプロンプトに加えて、画像もプロンプトとして使用することで、生成される画像のスタイルや要素をより詳細に制御できます。
- AI変身動画での活用:
  - スタイル継承: 変身前のキャラクターの画風や服装などのスタイルを、変身後にも引き継ぐことができます。例えば、水彩画風のキャラクターが、変身後も水彩画風のタッチを維持したまま、別の姿に変身するような表現が可能です。
  - 要素の継承: 変身前のキャラクターが着ている特定の服装やアクセサリーなどを、変身後の姿にも反映させることができます。
  - 変身の度合いの調整: Control Modeを調整することで、変身の度合いを細かくコントロールできます。「Balanced」は変身前後のバランス、「My prompt is more important」は変身後の姿を優先、「Reference Only」は変身前の画像を強く参照します。
- 注意点:
  - 変身前の画像と変身後の姿が大きく異なる場合（例：人間から動物）、うまく機能しないことがあります。
  - Control Modeの設定によって、結果が大きく変わるため、試行錯誤が必要です。
- 詳細情報:
  - v1: 512x512と1024x1024の両解像度に対応。
  - v2: より新しいバージョン。
flux-controlnet-hed-v3, flux-controlnet-depth-v3, flux-controlnet-canny-v3:
- 機能: (上記概要参照)
- AI変身動画での活用: (上記概要参照)
- 注意点:
  - HED: 細かいディテールは失われる可能性。背景とキャラクターの境界が曖昧になることあり。
  - Depth: 深度情報の推定は完全に正確ではない場合あり。細かいオブジェクトや複雑な形状は、正しく認識されないことあり。
  - Canny: 細かいテクスチャやノイズもエッジとして検出される可能性。画像がごちゃごちゃした印象になることあり。
- 詳細情報:
  - 全て1024x1024解像度でトレーニングされたv3バージョン。ComfyUIで直接使用可能。

Shakker-Labs

FLUX.1-dev-ControlNet-Union-Pro, FLUX.1-dev-ControlNet-Depth:
- 機能/活用/注意点: (上記概要参照)

TheMistoAI

MistoLine_Flux.dev:
- 機能: 線画（lineart）やアウトラインスケッチに特化したControlNetモデル。デュアルストリームTransformer構造により、推論時間を増やすことなく、様々な種類の線画やアウトラインの条件に対して、高い整合性と表現力を実現。
- AI変身動画での活用:
  - 形状の制御: 線画で、変身後のキャラクターの形状（ポーズ、体型、服装の輪郭など）を細かく指定できます。
  - 衣装デザインの制御: 線画で、衣装の模様や装飾などの細部を描き込むことで、より詳細なデザインを表現できます。
  - アニメ調表現: アニメ調の線画を元に、高品質なアニメ調の変身後画像を生成できます。
- 注意点:
  - XLabsのローダーやサンプラーとは互換性がありません。TheMisto.ai Flux ControlNet ComfyUIスイートを使用してください。

alimama-creative

FLUX.1-dev-Controlnet-Inpainting-Beta:
- 機能: インペイント用のControlNetモデル。画像の一部を修復または変更する。
- AI変身動画での活用:
  - 部分的な変身: 服装だけを変身させる、顔の一部だけを変身させる（例：目を大きくする、牙を生やす）など、特定の部分のみを変身させたい場合に有効です。
  - 不整合の修正: 変身前後の画像の不整合を修正する（例：背景がずれている、ポーズが微妙に異なる）。
- 注意点:
  - より包括的なプロンプトを使用することで、より良い結果が得られる可能性があります。

Jasper AI

Flux.1-dev-Controlnet-Upscaler:
- 機能: 低解像度の画像をアップスケール（高解像度化）する。
- AI変身動画での活用:
  - 高画質化: 低解像度のイラストや写真素材を、高解像度のAI変身動画用素材に変換できます。
  - ディテールとスタイルの統一: 変身前後の画像で、服装の模様や肌の質感などのディテールを統一できます。
- 注意点:
  - ControlNetのconditioning_scaleを適切に調整する(0.6を推奨)。
Flux.1-dev-Controlnet-Surface-Normals:
- 機能: Surface Normalsマップ（物体の表面の向きを表す情報）を使用して、生成される画像の3次元的な形状を制御。
- AI変身動画での活用:
  - 3D形状の一貫性: 変身前後のキャラクターの3D形状の一貫性を保ちたい場合に有効です。
  - リアルな変身表現: よりリアルな変身表現を実現できます。
- 注意点:
  - コンディショニングマップは、controlnet_auxライブラリのNormalBaeDetectorなどを使用して計算できます。

その他

windsingai/FLUX_OpenPose, raulc0399/flux_dev_openpose_controlnet:
- 機能: OpenPose ControlNetモデル。人物のポーズを制御。
- AI変身動画での活用:
  - 変身前後のポーズを統一。
  - 特定のポーズを指定。
- 注意点:
  - 複雑なポーズや極端なアングルは、正確に検出されない場合あり。
promeai/FLUX.1-controlnet-lineart-promeai:
- 機能: Lineart ControlNetモデル。線画による制御。
- AI変身動画での活用:
  - 変身前の画像から線画を抽出し、変身後の形状を制御。
  - キャラクターの形状や、細かい衣装のデザインなどをコントロール。
- 注意点:
  - 線画が複雑すぎると、生成画像がごちゃごちゃした印象になることあり。
  - 線画の品質が低いと、生成画像の品質も低下。
InstantX/FLUX.1-dev-Controlnet-Canny:
- 機能: Cannyエッジ検出。
- AI変身動画での活用/注意点: XLabs-AIのflux-controlnet-canny-v3と同様。
FLUX.1-dev-Controlnet-Seg:
- 機能: セグメンテーション(semantic segmentation)による制御。画像を意味のある領域（例：空、地面、人物、建物）に分割し、それぞれの領域に対して異なる指示を与えることができます。
- AI変身動画での活用:
  - 背景だけを変える。
  - キャラクターの服装の色だけを変える。
  - 特定のオブジェクトだけを変身させる。
- 注意点:
  - セグメンテーションの精度が低いと、意図しない結果になることあり。
FLUX.1-dev-Controlnet-Normal:
- 機能: 法線マップ(Normal Map)による制御。物体の表面の凹凸や向きを表現する情報を使用します。
- AI変身動画での活用:
  - 変身後のキャラクターの表面の質感（例：鱗、毛皮、金属）を細かく制御。
  - 光の当たり方を調整し、よりリアルな表現を実現。
- 注意点:
  - 法線マップの生成には、別途ツールが必要になる場合あり。
FLUX.1-dev-Controlnet-Lineart:
- 機能/活用/注意点: TheMistoAIのMistoLine_Flux.devや、promeaiのFLUX.1-controlnet-lineart-promeaiと同様。
FLUX.1-dev-Controlnet-Scribble:
- 機能: ラフスケッチ(Scribble)による制御。手描きのラフな線画から、画像を生成できます。
- AI変身動画での活用:
  - アイデア出しの段階で、ラフスケッチから変身後のイメージを素早く生成。
  - 手描きの温かみのある表現。
- 注意点:
  - ラフスケッチの精度が低いと、意図しない結果になることあり。
lucataco-qrcode: QRコード生成 (詳細不明)。
lucataco-fill10k: 詳細不明。