IP-Adapterとは何か
IP-Adapterは、イメージプロンプトアダプターの略で、コントロールネットの新しいモデルです。従来のテキストベースのプロンプトに代わり、画像をプロンプトとして使用することで、画像生成や変更をより直感的かつ詳細に行うことができます。この技術により、クリエイティブな画像生成が可能になり、新たな表現の幅が広がります。
IP-Adapterの使い方
IP-Adapterの使用方法は比較的簡単です。まず、対応するコントロールネットをアップデートし、IP-Adapter用のモデルをダウンロードします。次に、Stable Diffusion Web UIなどのプラットフォームを使用して、画像プロンプトを設定し、生成を開始します。画像プロンプトと文章のプロンプトを組み合わせることも可能で、これにより、より細かいイメージの調整が可能になります。
ステップ① 準備（ControlNetの導入）
control netの導入方法については過去の記事に詳しく書いてありますので参考にしてください。
ステップ② Control Netのアップデート
IP-Adapterを使用するにはStable Diffusion web UI自体をv1.1.4以降に更新する必要があります。
Control Netのアップデート方法は、はじめにWeb UIの「Extensions」タブをクリックします。続いて「Check for updates」をクリックします。
すると、Update列に赤の点線で囲んだ☑new commitsという表示が出現しますので、「Apply and restart UI」をクリックします。
ステップ③ IP-Adapter用のモデルの導入
IP-Adapterを使うには他のControl netと同様に、モデルが必要です。
Hugging Faceの次のページでダウンロードできます。
https://huggingface.co/lllyasviel/sd_control_collection/tree/main
次の二つのファイルをダウンロードします。
Stable Diffusionの「stable-diffusion-webui/extensions/sd-webui-controlnet/models」に先ほどダウンロードしたPTHファイルを保存します。
これでIP-Adapterを使う準備は完了です。
IP-Adapterを使って画像をプロンプトに使用してみよう！
IP－Adapterを使って画像をプロンプトに代わりに使って画像を生成してみましょう。
txt2imgのプロンプトには1 womanとだけ入力します。negative promptには適当に入力します。
Generationタブの設定は以下のとおりです。Hires.fixを使いました。
プロンプトに使用する画像をセット
まず、Control Netの横にある矢じり（次の写真の赤い点線の部分です）をクリックします。
すると次のような画面が出てきますので、
①imageの欄にプロンプトの代わりに使用する画像をドラッグ＆ドロップします。
②Enable欄に☑を入れます。
③IP-Adapterにチェック
④ip-adapter_clip_sd15を選択
⑤ip-adapter_sd15_plusを選択
あとは、Generateを押せば画像生成が始まります。最初だけ2GB程度のファイルをダウンロードするので時間がかかりますが、次回以降はそれほど時間はかかりません。
生成された画像が右側に表示されています。
プロンプトには1 womanとだけ書いているのに、プロンプトに使用した元の画像を強く反映した新たな画像が生成されていることが分かります。元の画像をどれだけ反映させるのかは、Control Weightの数字で調整可能です。
次の写真を見ていただくと、control weightの大きさによってプロンプト用画像の反映のされ方に大きな変化が出ているのが分かりますね。
