司机社
标题:
ai绘画授之于渔 坚忍不拔 训练指定人物2 腐团儿
[打印本页]
作者:
yin30666
时间:
2023-4-5 23:14
标题:
ai绘画授之于渔 坚忍不拔 训练指定人物2 腐团儿
本帖最后由 yin30666 于 2023-7-17 03:32 编辑
无惧痛苦创伤,壮胆迎难而上
,
先上主菜
上一帖是webui进阶,那这次就是lora模型进阶了,lora和db训练,训练数据集
也就是素材图片是重中之重*3,最好要上半身,没手没腿没水印,如果有手,就在预处理的txt文件里写上
hand up, hands
同理水印就是
watermark
即使这样
头发
long hair
,衣服
blue shirt
,手
heart hands
,水印,耳机
earphones
,都写上去之后,背景是最难写的,要是个房间
room
,沙滩
beach
,透明背景
transparent background
这样的还好,背景是个饭店还有横幅,这英文挨个查也太麻烦了,不如直接用ps抠掉背景了,要是
觉得抠图麻烦
那就写txt 背景的词条
上一帖也提到了,txt文件每写上一个词条 比如
hands
就相当于用ps 抠掉这个部分,剩下的脸部,或者穿衣服的人物就成了咱们额外写的
触发词
,比如
futuan
接下来就是今天的重头戏了,
ps1脚本的参数设置
,这里用的是b站青龙圣者的黄金法则
(感觉我俩中二程度差不多),
https://www.bilibili.com/video/BV15j411F7nJ/
黄金法则是先把参数设置成这样,batch size为1,最大epoch值为1,optimizer优化器选DAdaptation,学习率lr为1,unet lr为1,text_encoder_lr为0.5,其他不动
为什么这么设置
,因为最大epoch值为1,所以训练步数很少,又因为学习率太高,所以ai学习激进,很快就能出模型,也就是说
想要好的模型
,训练步数
(素材图片数量*单张训练次数*最大批次epoch值 除以batch size值)
多少很重要,假设
训练步数越少,应该提升学习率
,反过来
训练步数越多,降低学习率
我推荐设置为
训练3500步,学习率0.00004
,又因为每个人的每个lora模型训练时的素材图片
不可能一样
,所以不存在
固定参数
的,只能说根据推荐参数试试吧
继续说黄金法则,选择
DA优化器的前提下
很快的跑一遍lora模型,再运行一下tensorboard.ps1
可以看到之前
所有lora模型的学习率和loss值曲线图,
可以打勾其中一个看到曲线图,而且只有DA优化器有第六张曲线图,因为这个DA优化器在训练时,它会给你一个推荐的学习率,看最高点的值是多少就可以了,比如1.2e-4,那就是
0.00012
,黄金法则就是把这个
0.00012
再除以3
,得0.00004,这个0.00004应该就是
这个素材图片集的最好的学习率
,然后把步数调成3500步到5000步即可
再回到脚本界面,把优化器设置成lion即可,添加正则化数据集,个人感觉添加正则化之后效果很好,正则化数据集就是给ai学习图片的时候,
给一些主模型里可能没有学习到的图片作为参考
,比如这次主菜的果体图
新建正则化数据集和lora的训练数据集一样,就是先在train里新建一个reg文件夹,在reg里再新建一个1_nude的文件夹,目的是让ai学习的时候作为参考图片,这种图片是nude果体图,从而生成主模型里没有的果体图,
因为正则化图片会影响素材图片,所以生成图会变成拼脸
,比如把热巴老师和景甜老师的脸拼一起
可以尝试改变prior loss weight正则化权重,也就是正则化图片对于素材图片的影响,推荐1
最后就是测试生成出来的多个模型了,可以用webui主页最下面的
XYZ图标选项
来测试,操作方法在下图
(也可以用comfyUI来做这个测试)
下面链接是主菜,上面的是 脚本ps1文件和 更新后的venv里的所有配置文件,直接拖拽进你的目录即可,就不用输入指令下载DA和Lion优化器了,因为是配置文件,推荐还是
g
it强制更新
为好
,毕竟偶尔
dll文件解压的时候会报错
,其他的报错应该没有了,顺便一提,
开着魔法上网软件不能训练lora模型
,会报错,记得训练的时候把它关了,
8g以下显存应该跑不了*3
这次把做果体lora模型的详细设置都告诉了,lsp们得出来发帖了吧,技术比拼一下呗,看看谁做的图更好啊,
而且如果都能做去衣的话,那不就是皇上点妃了嘛,已经练成黑魔法了
因为新的poseX插件,用了几下,感觉一般,所以回帖说一下你们之后想看什么的教程,关于ai绘画的,
comfyUI分区域作图?outpaint插件?dreambooth训练大模型?要不直接ai换脸 deepfacelab?可以去帮你们探探路,看看有多难不是
最后继续在回帖点出你的心动女嘉宾,人物尽量不要和站长的一样,一样的做出来我害怕比不过他,嘿嘿
欢迎光临 司机社 (https://xsijishe.net/)
Powered by Discuz! X3.4