PR

【Stable Diffusion】img2imgで写真・ラフ画からイラストを生成するコツを解説

Stable Diffusion WebUIでimg2imgを使うコツ
この記事は約8分で読めます。
らん
らん

なかなか思ったようなポーズで絵を生成できないなぁ

るん
るん

そんなときはimg2imgです!

Stable Diffusionでは、どんな絵を描きたいのかを言葉(プロンプト)で指示して絵を描きます。

単純なポーズのときは良いのですが、言葉で表現しづらいポーズや構図の場合、プロンプトだけで絵を生成しても思い通りにならないことがあります。

プロンプトだけで細かなイメージを伝えるのは難しい
プロンプトだけで細かなイメージを伝えるのは難しい

こんなときに役立つのが「img2img」という機能です。この機能では、「画像+言葉」で絵を生成することができるので、プロンプトだけで指示するよりも、イメージに近づけやすいメリットがあります。

img2imgならイメージも伝えられる
img2imgならイメージも伝えられる

本記事では、このimg2imgの基本的な使い方と思い通りに描くためのコツを解説します。

この記事はこんな人におすすめ
  • 生成された絵がイメージと違う
  • 自分のラフ画をきれいに清書したい
  • 写真のポーズを参考にして絵を生成したい

img2imgとは

img2imgでは「下絵となる画像」+「プロンプト」で絵を生成することができます。

Stable Diffusionのimg2imgの概要
Stable Diffusionのimg2img

プロンプトだけから絵を生成するよりも、イメージに近い絵を生成できるというメリットがあります。

「写真」や「ラフ画」を下絵にする

img2imgの下絵とする画像には、大きく分けると「写真」と「ラフ画」があります。

img2imgの下絵は「写真」か「ラフ画」
img2imgの下絵は「写真」か「ラフ画」(画像中の写真は「ぱくたそ」より)

他人のイラストを下絵にしてimg2imgを行うのは、著作権の問題から避けた方が無難です。
img2imgで他人のイラストに似たイラストを生成して公開した場合、著作権侵害になる可能性があります。

メリット・デメリット

「写真」にも「ラフ画」にもそれぞれメリット・デメリットがあります。
ケース・バイ・ケースで使い分けるとよいでしょう。

写真ラフ画
メリット下絵を用意するのが比較的簡単
フリー画像などを使えば下絵を簡単に用意できる
イメージする絵に近づけやすい
自分の思い描いたイメージに近い絵を生成しやすい
デメリット写真のイメージから大きく変えられない
下絵となる写真のイメージから大きく離れた絵を生成することは難しい
絵を手描きする手間がかかる
ラフ画を手で描くため、多少の手間がかかる
img2imgで「写真」を使うか「ラフ画」を使うかのメリット・デメリット

私個人としては、ラフ画を描くという工程も含めて「ラフ画からimg2img」が好きです。

るん
るん

絵を描く楽しさを感じられます♪

写真からイラストを生成

それでは、まず「写真」を下絵としてimg2imgで絵を生成する方法を解説します。

本記事ではStable Diffusionで事実上のスタンダードとなっている『Stable Diffusion WebUI(AUTOMATIC1111)』での操作方法を解説します。

下絵で使う画像は「ぱくたそ」からダウンロードした画像を使います。

img2imgの下絵とする写真(「ぱくたそ」)
img2imgの下絵とする写真(「ぱくたそ」)

写真を下絵として使う方法は、ラフ画を描く必要がないので比較的お手軽というメリットがあります。
複雑なポーズや構図であっても、フリーの写真素材などを探してきたり、自分でそのポーズをとって写真に撮ればいいので、それほど手間がかかりません。

手順

モデルを選ぶ

img2imgでも選択するモデル(チェックポイント)によって絵柄が変わります。自分のイメージする絵に近い絵柄のモデルを選択しましょう。

モデルはWUIの「Stabe Diffusion checkpoint」で選択できます。

Stable Diffusion WebUI - img2imgのチェックポイント選択
モデル(チェックポイント)の選択

下絵(元画像)のアップロード

「img2img」タブを開き、下絵となる画像をアップロードします。

Stable Diffusion WebUI - img2imgのアップロード
下絵となる写真をアップロード

プロンプトの指定

画像だけでも絵を生成することは可能ですが、精度がよくありません。
絵の精度を高めるためにも、プロンプトを指定するようにしましょう。

Stable Diffusion WebUI - img2imgのプロンプト
プロンプトを指定

今回は「girl, light smile, pointing, index finger raised, jacket」というプロンプトを指定しました。

出力サイズの選択

縦横比を一定にしたい場合は、Resize byで倍率を選択します。等倍のときは「1」です。

Stable Diffusion WebUI - img2imgのResize by

元絵からサイズを変更したい場合は「Resize to」で好きなサイズを設定します。

Stable Diffusion WebUI - img2imgのResize to

このとき、元絵とのサイズの違いをどのように処理するかによって4つの「Resize mode」を選択することができます。

るん
るん

「Resize and fill」が一番使いやすいと思います

Just resizeResize mode - Just resize
元の画像を出力サイズに合わせて引き伸ばす。
Crop and resizeResize mode - Crop and resize
元の画像を縦横比を保ったまま引き伸ばしてから出力サイズに合わせてトリミングする。
Resize and fillResize mode - Resize and fill
元の画像を縦横比を保ったまま、足りない部分を描き足す。
Just resize (latent upscale)Resize mode - Just resize
元の画像を出力サイズに合わせて引き伸ばす。
※「Just resize」とはupscalerが異なるだけ
Resize modeの違い

Denoising strengthがポイント

Denoising strengthはどれだけ下絵から離れた絵を生成するかの度合いと考えればよいです。
0~1の間で0.01刻みで指定することができます。
値が小さいほど下絵に近く、値が大きいほど下絵から離れた絵になります。

Stable Diffusion WebUI - img2imgのDenoising strength
img2imgにおけるDenoising strengthの役割
Denoising strengthが小さいほど下絵に近くなる

まずは、0.2~0.6くらいの間で値を変化させてみて、バランスのよい値を見つけます。

img2imgで適切なDenoising strengthを探す
Denoising strengthを変化させて試す

この絵の場合、0.3くらいがバランスが良さそうなので、Denoising strengthは0.3に設定してみます。

画像を生成する

「Generate」をクリックして画像を生成します。気に入った絵が生成されるまで、何度かチャレンジしてみましょう。

らん
らん

なかなか最高の絵ができないんだけど…

るん
るん

まずは「まあまあ合格点の絵」を目指します!

写真を下絵にしていきなり最高のイラストを生み出すのは難しいです。
ここではまあまあの絵ができたら次のステップに進みましょう。

生成物を下絵にしてもう一度img2img

img2imgで生成した絵を新たな下絵にして、同じようにもう一度img2imgを行います。
こうすることで、絵のイメージを保ったまま、クオリティをあげていくことができます。

生成画像を下絵にしてimg2imgを繰り返す
満足いくまでimg2imgを繰り返す
写真からimg2imgで生成したイラスト
写真からimg2imgで生成したイラスト

残された課題

写真を下絵とするimg2imgは、下絵とした写真から大きくイメージを変えられない点が課題です。

例えば、先ほど写真から「緑髪のポニーテール」や「公園の背景」の絵を生成するのは難しいです。

img2imgで下絵にないものを生成するのは難しい
写真とまったく異なる絵を生成するのは難しい

このような場合、次に紹介する「ラフ画からイラストを生成」する方法をおすすめします。

ラフ画からイラストを生成

ラフ画を描くという一手間はありますが、この方法は完成形のイメージに近づけやすいです。

らん
らん

でもわたし、絵をうまく描けないよ…

るん
るん

ここで紹介するコツさえ押さえておけば落書き程度の絵でも大丈夫😊

手順

『Stable Diffusion WebUI(AUTOMATIC1111)』での操作方法を解説します。

ラフ画を描く

まず、完成形をイメージしたラフ画を描きます。コツは以下の3つです。

img2imgに使うラフ画のコツ
  • 完成形とラフ画の縦横比(アスペクト比)を合わせておく
  • 完成形に必要な要素は雑でもいいので描いておく
  • 完成形の配色となんとなく合わせておく

完成形とラフ画の縦横比(アスペクト比)を合わせておく
Resize modeで生成時に縦横比を合わせようとすると構図が変わってしまうので、ラフ画の時点で完成形の縦横比に合わせておきます。

完成形に必要な要素は雑でもいいので描いておく
例えば、「公園で人指し指を立てるポーズの緑髪のポニーテールの女の子」の絵を描きたいとしましょう。
ラフ画には、「公園」「人指し指を立てるポーズ」「緑髪」「ポニーテール」といった要素はざっくり描いておきます。

完成形の配色となんとなく合わせておく
配色はimg2imgで大きく変更することが難しいので、ラフ画では完成形の配色をざっと塗っておきます。はみ出てもまったく気にしなくてOKです。

img2imgの下絵とするラフ画
img2imgの下絵とするラフ画

ラフ画をアップロードして画像生成

ここから先の流れは前述した「写真からイラストを生成」と同じです。
下絵とする画像を「写真」から「ラフ画」に変えるだけです。

ラフ画からimg2imgで生成したイラスト
ラフ画からimg2imgで生成したイラスト

必要なもの

この方法は最初に準備する「ラフ画」がポイントです。
ラフ画をさくっと楽しく描くためには「ペンタブレット」と「お絵描きソフト」が必要となります。

ラフ画を描くためにペンタブレットとお絵描きソフトが必要
ラフ画を描くために必要な「ペンタブレット」と「お絵描きソフト」

ペンタブレット(ペンタブ)

ラフ画はきれいに描く必要はないのですが、さすがにマウスだと描きにくすぎますし、描く楽しさも感じられないと思うのでペンタブレットを購入することを強くオススメします。

ペンタブレットはピンからキリまでありますが、AIイラストであれば安価なもので十分です。
筆者としては比較的安価で信頼性の高い「XPPen」をオススメします。

¥6,900 (2024/09/13 06:47時点 | Amazon調べ)

お絵描きソフト

Windowsの「ペイント」でも描けなくはないと思いますが、相当やりにくいです。
フリーのペイントソフトを使うか、イラストや漫画を描くときの定番となっている「CLIP STUDIO」がオススメです。

安心と信頼のお絵かきソフトはこれ【CLIP STUDIO PAINT】

まとめ

プロンプト(呪文)だけではなかなかイメージ通りの絵を生成できないことがあります。
そんなときに役立つのが「img2img」という機能です。
写真やラフ画を下絵にして「画像+言葉」で絵を生成することができるので、プロンプトだけで指示するよりも、イメージに近づけやすいメリットがあります。

るん
るん

img2imgをうまく活用して思い通りの絵をクリエイトしちゃいましょう!

大量の生成画像の管理に困ったら

Stable Diffusionで画像を生成していると、すぐに大量の生成画像がフォルダにたまってしまいますよね。
あとから「あの画像、どこだっけ…?」と思っても探すのが大変です💦
また「この画像はどんなプロンプトで生成したんだっけ…?」というのも調べるのが面倒ですね。

そんなときに役立つのが、画像管理ツール「Eagleです。
「Eagle」ならこんな風に画像のプロンプトやネガティブプロンプト、Seedなどの情報を自動で登録して管理できます。

「NovelAI to Eagle」ならプロンプトなどの情報を自動登録できる

検索機能も強力なので、何百枚、何千枚という画像もバッチリ管理できちゃいます✨
Eagleのことを知りたい」という人はこちらの記事をご覧ください。

「Eagle-pnginfo」というStable Diffusionの拡張機能を使うと、Stable Diffusionで生成した画像が、プロンプトなどの情報付きでEagleに自動で送られるので超便利です😄

プロフィール
この記事を書いた人
千鳥 るん | Chidori Run

画像生成AIで思い通りのイラストを描くためのノウハウを試行錯誤で模索しています。IT企業でAI戦略に関わっていたこともあるAIエンジニアです。大学生の頃から趣味でイラストを描いていましたが、仕事が忙しくなり一旦筆を置きました。最近、NovelAIと出会ってまたお絵描きへの情熱を取り戻しています。

千鳥るんをフォローする
Stable Diffusion
スポンサーリンク
シェアする
千鳥るんをフォローする

コメント