LoRAメモ

gistfile1.md

https://github.com/kohya-ss/sd-scripts/blob/main/train_network_README-ja.md これが正しい

• 正則化画像はいらん
• バッチサイズは2でいい
• 巷の文章では学習用プロンプトの拡張子がtxtだが公式ではcaptionなので注意
• dimは https://rentry.org/lora_train には 128 と書いてあるけど 4～16 ぐらいが無難 → dimの大きさによって重みを 1/n 倍する必要あり？ → アップデートで直った
• 最初は1epochでもうまく学習できてればそこそこ良い画像が生成される。うまく学習できてないといくら学習しても無が生成されることになる。
• Additional Networks で 生成するときの weight は 0.1 付近じゃないとガビガビになる → アップデートで直った

---

最終的なコマンド

accelerate launch --num_cpu_threads_per_process 16 train_network.py ^
    --pretrained_model_name_or_path="ほげ" ^
    --train_data_dir=.\img\train --output_dir=.\img\output ^
    --prior_loss_weight=1.0 --network_dim=16 --shuffle_caption --keep_tokens=1 ^
    --resolution=512 --train_batch_size=2 --learning_rate=1e-4  ^
    --max_train_steps=640 --use_8bit_adam --xformers --mixed_precision=fp16  ^
    --save_every_n_epochs=1 --save_model_as=safetensors --logging_dir=.\img\log ^
    --network_module=networks.lora --gradient_checkpointing --caption_extension=txt