【Stable Diffusion】色あせた絵をVAEで鮮やかに！導入方法と使い方を解説

Stable Diffusionで生成した絵が色あせて見えたり、色が薄いように感じたことはありませんか？

下の2枚の絵は「夏の海」をイメージして私が生成した絵ですが、なんだが「色あせた写真」のようで、あまり爽やかな感じがしません。

私も今まで「どうしてこのモデルで生成した絵はこんな色が薄いんだろう？」と思っていました。このモデルの仕様なのかな、と。

でも、それは多くの場合「VAE」を使うことで解決できます。

本記事では、色を鮮やかにできるVAEの導入方法について解説します。

VAEとは

VAEは「変分オートエンコーダー」という画像を生成するAIの一種です。
仕組みはさておき、Stable Diffusionにおいては、VAEは絵の色味を調整してくれる機能と考えておいていいと思います。

VAEの効果

VAEの効果を端的にいうと、色を鮮やかにしてくれるということです。

モデルによっては、生成された絵の色がぼんやりしている（彩度が低い）ことがあります。
これは多くの場合、VAEを適用することで色が鮮やかにすることができます。

VAEにもいくつか種類があるのですが、現在、もっともスタンダードで汎用的に使えるVAEは「vae-ft-mse-840000-ema-pruned」です。ひとまずこれを導入しておけば問題ありません。

VAEの導入

vae-ft-mse-840000-ema-prunedの導入方法と使い方を解説します。

vae-ft-mse-840000-ema-prunedを導入する

Hugging Faceにアクセスして、「vae-ft-mse-840000-ema-pruned.safetensors」というファイルをダウンロードしましょう。

ダウンロードしたファイルを、Stable Diffusion WebUIがインストールされているフォルダの、
stable-diffusion-webui > models > VAE に移動させます。

Stable Diffusion WebUI の「Settings」タブを開き、左側メニューの「Stable Diffusion」を選択します。そして、「SD VAE」の右側にある更新ボタンを押します。
これで導入は完了です。

このVAEを適用して画像生成したいときには、先ほどの Settings > Stable Diffusion の「SD VAE」のプルダウンをクリックします。

すると、以下のような選択肢が出るので、「vae-ft-mse-840000-ema-pruned.safetensors」を選択しましょう。

・Automatic
・None
・vae-ft-mse-840000-ema-pruned.safetensors

「Apply settings」をクリックして設定を適用し、「Reload UI」をクリックしてUIを再読み込みします。

あとはいつも通りに画像生成するだけです。

VAEのあり/なしで生成された絵を見比べてみましょう。
「VAEなし」の絵は色がくすんで、全体的にぼやっとして見えます。「VAEあり」の方は色の鮮やかさが増していることがわかりますね。

VAEを簡単に切り替える方法

すべてのモデルでVAEを適用すればいいというわけではありません。モデル自体にVAEがすでに組み込まれているなどの理由で、VAEを適用しない方がいいケースもあります。

そのような場合、前述の手順でSetting > Stable DiffusionからVAEをいちいち切り替えるのは面倒です。
もっと簡単にVAEの切り替えをできるように設定する方法があります。

Setting > User interface を開きます。

[info]Quicksettings list という項目があるので、そこに「sd_vae」を追加しましょう。

最後に、Apply settingsをクリックして、Reload UIでUIを再起動します。

すると、画面の上部にVAEの設定項目が追加されました。これで簡単にVAEを切り替えることができますね。

VAEの種類

VAEにはいくつか種類があり、効果も異なります。
基本的には「vae-ft-mse-840000-ema-pruned」で汎用的に使えますが、上級者の人は狙いたい効果によってVAEを使い分けるのもいいかもしれません。

VAEの選び方

まずモデルの説明ページを見てみましょう。推奨しているVAEが記載されていることがあります。
もし何も書いていなければ、モデル自体にVAEが内蔵されているのかもしれません。

それでも生成した絵が色あせて見える場合は、以下に紹介するVAEの中から好みのものを試してみるのも良いと思います。

代表的なVAE

vae-ft-mse-840000-ema-pruned

一番スタンダードで汎用的に使えるVAEです。このVAEを推奨しているモデルも結構あります。
導入手順はこちらをご覧ください。

kl-f8-anime

「kl-f8-anime」は「vae-ft-mse-840000-ema-pruned」に比べて、色味が明るく、ややピンクがかった色みになります。

ダウンロードはこちら。
「vae」フォルダを選択し、「kl-f8-anime.ckpt」をダウンロードします。
以降の手順は「vae-ft-mse-840000-ema-prunedの導入手順」と同じです。

kl-f8-anime2

ダウンロードはこちら。
「vae」フォルダを選択し、「kl-f8-anime2.ckpt」をダウンロードします。
以降の手順は「vae-ft-mse-840000-ema-prunedの導入手順」と同じです。

「kl-f8-anime」に比べて色味が落ち着いています。「vae-ft-mse-840000-ema-pruned」にかなり近い色に見えます。

まとめ

Stable Diffusionで生成した絵で「色が薄い」「色あせて見える」と感じたら、VAEを試してみるのが良いでしょう。VAEは絵を色鮮やかにしてくれる効果があります。