AICG学习(一)搭建魔搭,LoRA
名词解释:
LoRA:“Low-Rank Adaptation”,即低秩适应,是一种轻量级的微调方法,即通过特定微调技术应用于基础模型的扩展应用。
文字生成图片+LoRA的主要过程:
Lora对预训练好的大模型进行针对性优化,以实现对特定主题、风格或任务的精细化控制
提示词
提示词很重要,一般写法:主体描述,细节描述,修饰词,艺术风格,艺术家
下文目标
在 30分钟 内,从一个完全小白的选手,跑通 “可图Kolors-LoRA风格故事挑战赛”
1.开通阿里云交互式建模 PAI-DSW免费试用
地址:阿里云免费试用 - 阿里云
2. 在魔搭社区授权阿里云账户,创建PAI实例
地址:https://www.modelscope.cn/my/mynotebook/authorization
授权:我对NoteBook->个人实例,前两步授权,后一步创建实例(注意“资源配额”的选择)。
3. 环境准备:
创建实例后,启动,打开终端,输入命令,克隆项目。
git lfs install
git clone https://www.modelscope.cn/datasets/maochase/kolors.git
进入kolas文件夹,打开baseline文件,点击执行代码实现安装环境,装好了重启内核。
实现效果:安装 Data-Juicer 和 DiffSynth-Studio
Data-Juicer:数据处理和转换工具,旨在简化数据的提取、转换和加载过程
DiffSynth-Studio:高效微调训练大模型工具
4. 修改提示语,生成图片
不过目前不会基于第一次生成的图片进行第二次微调,只会修改提示词,然后整个重新执行。
5.移动图片位置、下载输出文件、填入比赛链接。