当前位置：首页 > news >正文

AIGC文生图lora微调训练案例；SD-Train界面训练stable Diffusion lora模型

news 来源：原创 2024/9/27 5:35:25

lora仓库（1000多个lora微调模型分享）：
https://lorastudio.co/models

1、命令代码方式：文生图lora微调训练案例

主要用huggingface相关包：peft、accelerate、diffusers
参考：
https://huggingface.co/blog/lora
https://github.com/huggingface/diffusers/blob/main/examples/text_to_image/train_text_to_image_lora.py ##官方案例代码
在这里插入图片描述
https://civitai.com/articles/3105/essential-to-advanced-guide-to-training-a-lora

https://github.com/PixArt-alpha/PixArt-alpha?tab=readme-ov-file （微调脚本基本也是上面官方diffusers的例子）
在这里插入图片描述

#下载
git clone https://github.com/PixArt-alpha/PixArt-alpha.git #运行
一张4090（更改num_processes=1即可）
accelerate launch --num_processes=1 --main_process_port=36667 train_scripts/train_pixart_lora_hf.py --mixed_precision="fp16" --pretrained_model_name_or_path=/ai/PixArt-XL-2-1024-MS --dataset_name=reach-vb/pokemon-blip-captions --caption_column="text" --resolution=1024 --random_flip --train_batch_size=6 --num_train_epochs=200 --checkpointing_steps=100 --learning_rate=1e-06 --lr_scheduler="constant" --lr_warmup_steps=0 --seed=42 --output_dir="pixart-pokemon-model" --validation_prompt="cute dragon creature" --report_to="tensorboard" --gradient_checkpointing --checkpoints_total_limit=10 --validation_epochs=5 --rank=16
两张4090
accelerate launch --num_processes=2 --main_process_port=36667 train_scripts/train_pixart_lora_hf.py --mixed_precision="fp16" --pretrained_model_name_or_path=/ai/PixArt-XL-2-1024-MS --dataset_name=reach-vb/pokemon-blip-captions --caption_column="text" --resolution=1024 --random_flip --train_batch_size=6 --num_train_epochs=200 --checkpointing_steps=100 --learning_rate=1e-06 --lr_scheduler="constant" --lr_warmup_steps=0 --seed=42 --output_dir="pixart-pokemon-model" --validation_prompt="cute dragon creature" --report_to="tensorboard" --gradient_checkpointing --checkpoints_total_limit=10 --validation_epochs=5 --rank=16

在这里插入图片描述
训练时间有点久，200轮

在这里插入图片描述

2、可视化界面操作：SD-Train lora

工具相对局限于stable Diffusion 模型才可以微调，其他模型不大支持

参考：
https://github.com/Akegarasu/lora-scripts/blob/main/README-zh.md
https://www.bilibili.com/video/BV15E421G7Qb/
https://www.bilibili.com/video/BV1CA4m1w7zh/