【Stable Diffusion】CannyとLineartで絵のカラーを自由に変えよう

らん

このイラストの線画はそのままで、色だけ変えたいんだけど

るん

ControlNetという便利な機能を使いましょう！

気に入った絵の色だけを変えたいという場合、あなたならどうしますか？

「絵を元に別の絵を生成する」ということなので、img2imgを使えばいいと思うかもしれません。
ですが、線画を残してカラーだけ変更することはimg2imgではかなり難しいです。

このようなときは、Stable DiffusionのControlNetという機能を使いましょう。
ControlNetは思い通りの画像を生成するための便利な機能群なのですが、色だけ変えたいときは「Canny」か「Lineart」が適しています。

この記事では便利なControlNetの「Canny」「Lineart」で絵の色だけを変える方法を解説します。

この記事はこんな人におすすめ

絵の線画はそのままにして、色だけを変えたい
CannyやLineartの使い方を知りたい

ControlNetとは
絵の色だけを変えたいときは
まとめ

ControlNetとは

ControlNetは、Stable Diffusionの出力をより細やかに制御するための追加機能です。

ControlNetはいくつかの機能の総称で、その中には、棒人間でポーズを指定できる「Openpose」や、線画を抽出してそこから新たな絵を生み出す「Canny」や「Lineart」などがあります。

絵の色だけを変えたいときは

img2imgで色だけを変えるのは難しい

らん

img2imgでうまくいかないわけ？

るん

結論からいうとうまくいかないです。
でも実際にやってみましょう！

絵を元にして別の絵を生み出すということでまず思いつくのは「img2img」でしょう。
img2imgについて知りたい方はこちらの記事をご覧ください。

では、img2imgでこの絵のキャラクターの髪色を金色から茶色に変えてみましょう。

プロンプト

1girl, brown hair, medium hair, green eyes, green necktie, white background

img2imgでポイントになるのは「Denoising Strength」の値です。
Denoising Strengthが小さいと元絵の影響が強くなり、大きいとプロンプトの影響が強くなります。

今回は、元絵の構図（線画）はそのままに、色はプロンプトで指定したいわけです。

元絵の構図を優先するためにDenoising Strengthを小さくすると、brown hairというプロンプトが反映されません。
一方、brown hairというプロンプトを反映させようとDenoising Strengthを大きくすると、元絵の構図から離れてしまいます。
では、中間くらいすればいいかというと、これもなかなかうまくいきません。

Denoising Strengthを変えてimg2imgを実行 — Denoising Strengthを調整しながら色だけ変更を試みる

このように「カラーだけを変更したい」という用途には、単純にimg2imgを使うことは難しいのです。そこで便利なControlNetの出番です！

シンプルな構図であれば、img2imgで中間くらいのDenoising Strengthで何度も生成を繰り返せば、かなり期待通りの絵になることもあります。

CannyとLineartは線画を抽出できる

「Canny」というのは絵の「エッジ（輪郭）」を抽出して、それを元に画像を生成する機能です。
これによって、元絵の線画を維持しつつ、色だけを変更することが可能になります。

「Lineart」もほぼ同じ機能ですが、こちらの方が線をよりくっきりと抽出してくれます。

Cannyの使い方

それでは、Cannyを使って絵の色だけを変更してみましょう。
ここからはStable Diffusion WebUI（AUTOMATIC1111）での操作方法を解説します。

拡張機能でControlnetをインストール

まずは、ControlNetの拡張機能をインストールしていきます。

① WebUIの「Extensions」タブを開く
② 「Install from URL」タブを開く
③ 「URL for extension’s git repository」に以下のURLを入力

https://github.com/Mikubill/sd-webui-controlnet.git

④ 「Install」をクリック

数秒待つと、インストールが完了し、Installボタンの下に「Installed into C:UsersxxxxStableDiffusionstable-diffusion-webuiextensionssd-webui-controlnet. Use Installed tab to restart.」のようなメッセージが表示されます。

次の手順で、ControlNetを有効化してUIを再スタートします。

① Extensionsの「Installed」タブに移動
② 「sd-webui-controlnet」にチェックが入っていることを確認
③ 「Apply and restart UI」をクリック

txt2imgの中に、ControlNetという項目が表示されていればOKです。

Cannyのモデルをダウンロード

ControlNetにはCannyやOpenposeなどいくつかの機能があります。
そして、それぞれの機能に対応する「モデル」をダウンロードする必要があります。

るん

この「モデル」は「Checkpoint」とは別物です

ControlNetの各モデルは、下記の「Hugging Face」のページからダウンロードできます。

lllyasviel/ControlNet-v1-1 at main

We’re on a journey to advance and democratize artificial intelligence through open source and open science.

「.pth」で終わるファイルがモデルファイルです。

今回は「Canny」と「Lineart」を使いたいので、とりあえず以下の2つのファイルをダウンロードしましょう。
ファイル名の横のダウンロードボタン「↓」を押すとダウンロードできます。（.yamlファイルはダウンロードする必要はありません。）

control_v11p_sd15_canny.pth
control_v11p_sd15_lineart.pth

Hugging FaceからControlNetのモデルをダウンロード — ControlNetのモデルファイルをダウンロード

ダウンロードしたファイルは以下の場所に格納します。

Stability Matrixを使っている場合
　StabilityMatrix.exeと同フォルダにある「Data」フォルダ > Models > ControlNet

Stability Matrixを使っていない場合
　stable-diffusion-webui > extensions > sd-webui-controlnet > models

Cannyを使って画像生成

txt2imgタブを開きます。

「ControlNet」の右端の◀ボタンを押して、メニューを開きます。

「Enable」にチェックを入れると、画像生成するときにControlNetが有効になります。
ControlNetを使わないときには、このチェックを忘れずに外してください。

[Stable Diffusion WebUI] ControlNetを有効化 — Enableにチェックを入れるとControlNetが有効になる

「ここに画像をドロップ-または-クリックしてアップロード」のところに、元絵とする画像をアップロードします。

[Stable Diffusion WebUI] ControlNet - 画像をアップロード — 元絵をアップロード

Control Typeで「Canny」を選択します。
すると、自動的にPreprocessorが「canny」に、Modelが「control_v11p_sd15_canny」に設定されます。
もしModelがNoneのままになってしまうときは、右にある「リフレッシュボタン」を押してから、再びCannyを選択してください。