PR

【Stable Diffusion】LoRAの使い方を解説!難しい服装・背景・キャラを効率的に描こう

【Stable Diffusion】LoRAの使い方を解説!
この記事は約7分で読めます。
らん
らん

あるキャラを再現したいんだけど、いい方法ないかな?

るん
るん

それならLoRAが使えます✨

Stable Diffusionをある程度使っている人なら「LoRA」という単語を一度は耳にしたことがあるかと思います。

LoRAを使うことで、プロンプトだけでは表現が難しいキャラクターや背景、服装などを効率的に生成できるようになります。

本記事では、そんなLoRAの使い方について解説します。

この記事はこんな人におすすめ
  • LoRAで何ができるのか気になっている
  • 特定のキャラクターや背景、服装などを生成したいが思い通りにいかない

LoRAでできること

まず、LoRAとは何か?そしてLoRAで何ができるのかを解説していきます。

「LoRA」はStable Diffusionの追加学習の一種

LoRAは「Low-Rank Adaptation」の頭文字をとったもので、AIの追加学習手法の一種です。

らん
らん

「追加学習」ってなによ?

Stable Diffusionは膨大な画像とそれにひもづくテキストによって学習されています。それによって私達はプロンプト(呪文)から、実にさまざまな画像を作り出すことができます。

ですが、学習データに含まれていなかったものに関連する画像を生成することは難しいです。

たとえば、キャラクターで言えば、「初音ミク」など有名キャラは学習データにもおそらく含まれているので再現しやすいと思われます。
ですが、もっとマイナーなキャラクター最近登場したキャラクターは学習データに含まれていないので、プロンプトに名前を入力しても生成できません。

また、「学校の昇降口」のようにかなりピンポイントな場所(背景)もなかなか思い通りに生成できません。

このようなものを新たに画像を与えてStable Diffusionに追加的に学習させることができたら便利ですよね。そのための仕組みが「LoRA」なのです。

LoRAの概念イメージ
LoRAのイメージ
らん
らん

そんな大変そうなこと、大企業じゃないとできないのでは…?

確かに、一般的にAIにデータを学習させるためには、膨大な量のデータと高性能なコンピュータが必要です。
しかし、LoRAでは少数のデータから有用な情報を引き出すことができるため、比較的手軽に画像生成のカスタマイズを行える点が特徴です。

つまり、個人であってもLoRAを使えば新たなデータをStable Diffusionに学習させることができるということです。

実際、CivitaiやHugging Faceなどのサイトでは、さまざまな人が学習させた「LoRAファイル」が公開され、自由にダウンロードして使うことができます。

本記事では、LoRAを使った学習方法は扱いません。
公開されているLoRAファイルを使って画像生成する方法を解説します。

るん
るん

LoRAを使ってどんなことができるのか具体的に見ていきましょう。

LoRAで特定の服装を生成する

あまり一般的でない服装はStable Diffusionではうまく生成できないことがあります。たとえば、「カウガール」の服装です。

プロンプトにcow girlと入力しても、牛のコスプレをした女の子になってしまいます😓

LoRAを使わずに生成したカウガール
LoRAを使わずに生成したカウガール

cow girlの特徴である、ウェスタンハット、ベルト、バンダナ、ブーツなどをいちいち入力していくのも大変ですよね。

このような場合、カウガールのLoRAファイルを使うことで、カウガールの服装を簡単に生成することができます。

LoRAで生成したカウガール
LoRAを使って生成したカウガール

LoRAで特定の背景を生成する

学校の体育館や昇降口など、ピンポイントなシチュエーションの背景もStable Diffusionでは思い通りにいかないことが多いです。

「学校の昇降口(下駄箱)」をプロンプトだけで描こうとしても、うまくいきません。

LoRAを使わずに生成した「学校の下駄箱」
LoRAを使わずに生成した「学校の下駄箱」

そのようなときも、LoRAが役に立ちます。「学校の下駄箱」の背景を学習させたLoRAファイルを使うことでそれらしい背景を描くことができます。

LoRAで生成した「学校の下駄箱」
LoRAを使って生成した「学校の下駄箱」

LoRAでキャラを再現する

LoRAというと、「ある特定のキャラクターを再現する」という使い方をイメージする人も多いでしょう。

特定のキャラクターをプロンプトだけで再現するのはかなり大変です。ですが、そのキャラクターを学習させたLoRAファイルを使えば、比較的簡単に再現することが可能です。

次の絵は、鬼滅の刃の「栗花落カナヲ」のLoRAを使って再現したものです。かなり特徴が表れていますよね。

CivitaiではさまざまなキャラクターのLoRAがありますので、探してみるとよいでしょう。

LoRAで生成したカナヲ
LoRAで生成した「栗花落カナヲ」

LoRAで特定の画風を生成する

ピクセルアートやフラットイラスト、水墨画など、さまざまな画風をLoRAファイルを使って描くこともできます。

LoRAでさまざまな画風を再現できる
LoRAでさまざまな画風を再現できる

LoRAの使い方

Stable Diffusion WebUI(AUTOMATIC1111)でのLoRAの使い方について解説します。
おおまかな流れは以下のとおりです。

  1. 公開されているLoRAファイルを探す
  2. LoRAファイルをダウンロード
  3. ファイルを特定のフォルダに格納
  4. プロンプトにLoRAファイルを指定して画像生成

公開されているLoRAファイルを探す

LoRAはファイルは「Hugging Face」と「Civitai」で公開されています。
特にCivitaiはサムネイルでどんなLoRAなのかわかるので探しやすいです。ここではCivitaiでLoRAファイルを探す方法を説明します。

CivitaiのModelsページにアクセスしたら、フィルターで「LoRA」にチェックを入れましょう。これでLoRAファイルだけが表示されます。

CivitaiでLoRAをフィルター
らん
らん

たくさんあって、眺めているだけでも楽しい♪

LoRAファイルは、上部の検索バーから検索することもできます。

LoRAファイルをダウンロード

気に入ったLoRAがあれば、ファイルをダウンロードしてみましょう。
このとき、「Trigger Words」というものが記載されていることがあります。
これは画像生成のとき、プロンプトにこのTrigger Wordsを入力することでそのLoRAの効力が発動するというキーワードです。どこかにメモしておきましょう。

CivitaiでLoRAをダウンロード

ファイルを特定のフォルダに格納

ダウンロードしたLoRAファイルはStable Diffusionの特定のフォルダに入れておく必要があります。
Stable Diffusionをインストールしたフォルダの、Stable Diffusion > models > LoRa というフォルダにファイルを格納しましょう。

[Stable Diffusion WebUI] LoRAファイルを配置

プロンプトにLoRAファイルを指定して画像生成

では、実際に画像生成していきます。
まずは、普通にプロンプトを入力します。このとき、メモしておいたTrigger Wordsもプロンプトに入力しましょう。

[Stable Diffusion WebUI] LoRAのTrigger Wordsを入力
プロンプトを入力。このときTrigger Wordsも入力する。

そして、Generateボタンの近くにある「花札マーク」を押して、Loraのタブを開きます。
該当ファイルをクリックします。
※ダウンロードしたファイルが表示されていないときは、タブの横の方にある「Refresh」ボタンを押してみてください。

プロンプトに<lora: …>というようなタグが入力されればOKです。
※うまくタグが入力されないときは、プロンプトの入力欄を一度クリックしてアクティブ状態にしてから、該当のLoRAをクリックしてみてください。

[Stable Diffusion WebUI] LoRAを適用
LoRAファイルを適用

Generateボタンをクリックして、画像を生成してみましょう。LoRAが反映されていればOKです。

LoRAで生成したカウガール

LoRAの効きが弱い(強い)と感じたら

<lora: … :1>のように、loraタグの最後に数値が書かれていると思います。これがLoRAの効き具合を表しています。

LoRAの効きが強すぎると感じたら、この数値を小さくしてみましょう。逆に、効きが弱いと感じたら、数値を大きくしてみるとよいでしょう。

まとめ

LoRAはStable Diffusionの一部として、特定のキャラクターや背景、服装などの特徴を追加学習させるための便利なツールです。

公開されているさまざまなLoRAファイルを利用することで、プロンプトだけでは表現が難しい服装や細かい背景、特定のキャラクターの再現などができます。

Civitaiなどのプラットフォームを活用して、さまざまなLoRAファイルを探し、クリエイティブな画像生成を楽しんでみましょう。

プロフィール
この記事を書いた人
千鳥 るん | Chidori Run

画像生成AIで思い通りのイラストを描くためのノウハウを試行錯誤で模索しています。IT企業でAI戦略に関わっていたこともあるAIエンジニアです。大学生の頃から趣味でイラストを描いていましたが、仕事が忙しくなり一旦筆を置きました。最近、NovelAIと出会ってまたお絵描きへの情熱を取り戻しています。

千鳥るんをフォローする
Stable Diffusion
スポンサーリンク
シェアする
千鳥るんをフォローする
るんるんスケッチ

コメント