metadata
license: openrail++
tags:
- text-to-image
- stable-diffusion
datasets:
- p1atdev/niji-v5
モデルの説明
アニメ調に寄せた「SDXL(stable-diffusion-xl-base-1.0)」モデルです。内容は「niji-v5」データセットでLoRAファインチューニングしてマージしたモデルです。
使用例
"1girl, tokyo"
モデルの作り方
- 「かんたん☆コピー機学習法（きっと初級編）」を参考に、ぼかし（blur）のLoRA DreamBoothをして、そのLoRAモデルをSDXLモデルにマイナスでマージします。
- 1で作ったモデルに、niji-v5から背景や髪が詳細に描かれている絵などを100枚選びLoRAファインチューニングして、そのLoRAモデルをSDXLモデルにマージします。
モデルの改善
LoRAモデルとして配布できるようにしたいです。 というのは、512dim(rank)で学習したらLoRAモデルが3GBのファイルサイズになってしまったため、今回はSDXLモデルにマージしています。
感想
うまく調整できず何度もやり直して大変でした。あとで作り方を動画にしたいです。
謝辞
モデル、学習データや学習ツールを作成および配布してくださった方々に心から感謝申し上げます。
ライブラリ
- sd-scripts 4072f723c12822e2fa1b2e076cc1f90b8f4e30c9
- bitsandbytes 0.39.1
- Pytorch 2.0.0+cu117
- xformers 0.0.19