Stable Diffusion LoRA 训练入门

发表于 分类于

Stable Diffusion LoRA 训练入门

LoRA (Low-Rank Adaptation) 是微调 Stable Diffusion 模型最流行的方法之一。本文介绍 LoRA 训练的基本流程。

什么是 LoRA

LoRA 通过在模型的注意力层中插入低秩矩阵来实现微调，相比全量微调：

  • 训练参数量减少约 1000 倍
  • 显存需求大幅降低
  • 训练速度更快
  • 生成的模型文件很小（通常 10-200MB）

训练准备

数据集准备

  1. 收集 15-30 张高质量图片
  2. 统一裁剪为 512x512 或 768x768
  3. 为每张图片编写标注文本

环境配置

推荐使用 kohya-ss 训练框架：

1
2
3
git clone https://github.com/kohya-ss/sd-scripts
cd sd-scripts
pip install -r requirements.txt

训练参数建议

参数 推荐值
学习率 1e-4
Epoch 10-20
Batch Size 1-2
Network Rank 32-128
Network Alpha 16-64

常见问题

  • 过拟合：减少训练步数或降低学习率
  • 欠拟合：增加训练步数或提高学习率
  • 颜色偏移：检查数据集的色彩一致性

LoRA 训练是一个需要反复调试的过程，多实验才能找到最佳参数！