【Stable Diffusion】LoRAの使い方を解説！難しい服装・背景・キャラを効率的に描こう

Stable Diffusionをある程度使っている人なら「LoRA」という単語を一度は耳にしたことがあるかと思います。

LoRAを使うことで、プロンプトだけでは表現が難しいキャラクターや背景、服装などを効率的に生成できるようになります。

本記事では、そんなLoRAの使い方について解説します。

LoRAでできること

まず、LoRAとは何か？そしてLoRAで何ができるのかを解説していきます。

「LoRA」はStable Diffusionの追加学習の一種

LoRAは「Low-Rank Adaptation」の頭文字をとったもので、AIの追加学習手法の一種です。

Stable Diffusionは膨大な画像とそれにひもづくテキストによって学習されています。それによって私達はプロンプト（呪文）から、実にさまざまな画像を作り出すことができます。

ですが、学習データに含まれていなかったものに関連する画像を生成することは難しいです。

たとえば、キャラクターで言えば、「初音ミク」など有名キャラは学習データにもおそらく含まれているので再現しやすいと思われます。
ですが、もっとマイナーなキャラクターや最近登場したキャラクターは学習データに含まれていないので、プロンプトに名前を入力しても生成できません。

また、「学校の昇降口」のようにかなりピンポイントな場所（背景）もなかなか思い通りに生成できません。

このようなものを新たに画像を与えてStable Diffusionに追加的に学習させることができたら便利ですよね。そのための仕組みが「LoRA」なのです。

確かに、一般的にAIにデータを学習させるためには、膨大な量のデータと高性能なコンピュータが必要です。
しかし、LoRAでは少数のデータから有用な情報を引き出すことができるため、比較的手軽に画像生成のカスタマイズを行える点が特徴です。

つまり、個人であってもLoRAを使えば新たなデータをStable Diffusionに学習させることができるということです。

実際、CivitaiやHugging Faceなどのサイトでは、さまざまな人が学習させた「LoRAファイル」が公開され、自由にダウンロードして使うことができます。

LoRAで特定の服装を生成する

あまり一般的でない服装はStable Diffusionではうまく生成できないことがあります。たとえば、「カウガール」の服装です。

プロンプトにcow girlと入力しても、牛のコスプレをした女の子になってしまいます😓

cow girlの特徴である、ウェスタンハット、ベルト、バンダナ、ブーツなどをいちいち入力していくのも大変ですよね。

このような場合、カウガールのLoRAファイルを使うことで、カウガールの服装を簡単に生成することができます。

LoRAで特定の背景を生成する

学校の体育館や昇降口など、ピンポイントなシチュエーションの背景もStable Diffusionでは思い通りにいかないことが多いです。

「学校の昇降口（下駄箱）」をプロンプトだけで描こうとしても、うまくいきません。

そのようなときも、LoRAが役に立ちます。「学校の下駄箱」の背景を学習させたLoRAファイルを使うことでそれらしい背景を描くことができます。

LoRAでキャラを再現する

LoRAというと、「ある特定のキャラクターを再現する」という使い方をイメージする人も多いでしょう。

特定のキャラクターをプロンプトだけで再現するのはかなり大変です。ですが、そのキャラクターを学習させたLoRAファイルを使えば、比較的簡単に再現することが可能です。

次の絵は、鬼滅の刃の「栗花落カナヲ」のLoRAを使って再現したものです。かなり特徴が表れていますよね。

CivitaiではさまざまなキャラクターのLoRAがありますので、探してみるとよいでしょう。

LoRAで特定の画風を生成する

ピクセルアートやフラットイラスト、水墨画など、さまざまな画風をLoRAファイルを使って描くこともできます。

LoRAの使い方

Stable Diffusion WebUI（AUTOMATIC1111）でのLoRAの使い方について解説します。
おおまかな流れは以下のとおりです。

公開されているLoRAファイルを探す

LoRAはファイルは「Hugging Face」と「Civitai」で公開されています。
特にCivitaiはサムネイルでどんなLoRAなのかわかるので探しやすいです。ここではCivitaiでLoRAファイルを探す方法を説明します。

CivitaiのModelsページにアクセスしたら、フィルターで「LoRA」にチェックを入れましょう。これでLoRAファイルだけが表示されます。

LoRAファイルは、上部の検索バーから検索することもできます。

LoRAファイルをダウンロード

気に入ったLoRAがあれば、ファイルをダウンロードしてみましょう。
このとき、「Trigger Words」というものが記載されていることがあります。
これは画像生成のとき、プロンプトにこのTrigger Wordsを入力することでそのLoRAの効力が発動するというキーワードです。どこかにメモしておきましょう。

ファイルを特定のフォルダに格納

ダウンロードしたLoRAファイルはStable Diffusionの特定のフォルダに入れておく必要があります。
Stable Diffusionをインストールしたフォルダの、Stable Diffusion > models > LoRa というフォルダにファイルを格納しましょう。

プロンプトにLoRAファイルを指定して画像生成

では、実際に画像生成していきます。
まずは、普通にプロンプトを入力します。このとき、メモしておいたTrigger Wordsもプロンプトに入力しましょう。

そして、Generateボタンの近くにある「花札マーク」を押して、Loraのタブを開きます。
該当ファイルをクリックします。
※ダウンロードしたファイルが表示されていないときは、タブの横の方にある「Refresh」ボタンを押してみてください。

プロンプトに<lora: …>というようなタグが入力されればOKです。
※うまくタグが入力されないときは、プロンプトの入力欄を一度クリックしてアクティブ状態にしてから、該当のLoRAをクリックしてみてください。

Generateボタンをクリックして、画像を生成してみましょう。LoRAが反映されていればOKです。

LoRAの効きが弱い（強い）と感じたら

<lora: … :1>のように、loraタグの最後に数値が書かれていると思います。これがLoRAの効き具合を表しています。

LoRAの効きが強すぎると感じたら、この数値を小さくしてみましょう。逆に、効きが弱いと感じたら、数値を大きくしてみるとよいでしょう。

まとめ

LoRAはStable Diffusionの一部として、特定のキャラクターや背景、服装などの特徴を追加学習させるための便利なツールです。

公開されているさまざまなLoRAファイルを利用することで、プロンプトだけでは表現が難しい服装や細かい背景、特定のキャラクターの再現などができます。

Civitaiなどのプラットフォームを活用して、さまざまなLoRAファイルを探し、クリエイティブな画像生成を楽しんでみましょう。