td2sk の日記

技術メモとかゲームとか

Stable Diffusion で Kawaii イラストを生成するためにやったことまとめ (作例 + Notebook付き)

目次

  • 潜在空間上でのプロンプト計算 (線形補完、morphing)
  • Kawaii イラスト生成
  • Jupyter Notebook 作成(潜在空間上の計算、Google Colab / ローカル両対応、Waifu Diffusionサポート)
  • おまけ: morphing

潜在空間上でのプロンプト計算 (線形補完、morphing)

プロンプトにより生成される内部ベクトルに対して、補正プロンプトを重み付きで足し引きすることを思いつき、以下の解説記事を書き機能追加パッチを公開した。

zenn.dev

意味のちょい足しや、最近流行りのmorphingに使える。

Kawaii イラスト生成

Stable Diffusion は日本風の Kawaii 画像を出すのがあまり得意ではないように感じる。

この問題を、海外の上手なイラスト風のプロンプトという高確率で品質の安定するプロンプトをベースにし、潜在空間上でのプロンプト計算により若干日本風に寄せることで解決した。

潜在空間上での計算イメージ: (海外の上手なイラスト風) + 重み * (日本アニメ風 - 海外風)

ベースプロンプトの安定した作画と、日本風の Kawaii 要素のいいとこ取りに成功している(と思う)。

実際のプロンプトや各種パラメーターはツイートした画像のALTを参照のこと。

以下の Notebook に ALT の内容をコピペすることで、誰でも全く同じ画像を得ることができる。

Jupyter Notebook 作成(潜在空間上の計算、Google Colab / ローカル両対応、Waifu Diffusionサポート)

txt2img, img2img を簡単に使えるようにした Notebook。

潜在空間上のプロンプト計算をサポートし、ローカルPCとGoogle Colabの両方に対応している。

github.com

また、モデルを差し替えることで Waifu Diffusion (wd-v1-2-full-ema.cpkt) も動作する。

メモリ消費量がギリギリのため、ランタイムが止まったら"ランタイム > 再起動してすべてのセルを実行"を選択すること。

おまけ: morphing

潜在空間上での補正計算を、重みを変えながら繰り返し実施して動画化すると、以下のように ある程度構図を保ったまま別のプロンプトに向かって遷移するmorphingが実現できる。