司机社

标题: ai绘画授之于渔 坚忍不拔 训练指定人物2 腐团儿 [打印本页]
作者: yin30666    时间: 2023-4-5 23:14
标题: ai绘画授之于渔 坚忍不拔 训练指定人物2 腐团儿
本帖最后由 yin30666 于 2023-7-17 03:32 编辑 3 \' v/ i8 M) R, t4 h+ P9 ~
+ w" F3 x3 ?1 m5 W" i
无惧痛苦创伤，壮胆迎难而上，先上主菜# y* O; O) _! [4 B
(, 下载次数: 26)
) o) O0 g/ l# t% j (, 下载次数: 17)
" ~: V' O8 W5 z5 h* X (, 下载次数: 12) ( J0 L4 i' y3 _7 i" ~" q
(, 下载次数: 9) : L* a% @8 N* t6 k
(, 下载次数: 9)
9 _1 D& q# i/ l9 Q3 z+ W (, 下载次数: 11)
& i. ?* U' ]* v9 H (, 下载次数: 12)
6 G" t  G* I2 J# m  ?0 I, t* j (, 下载次数: 10) 4 B9 e1 c. }* W" O7 x
(, 下载次数: 14)
7 R; F* V$ ^! n7 @2 k, F6 F (, 下载次数: 10)
) d6 r1 t  Y& t/ n: M上一帖是webui进阶，那这次就是lora模型进阶了，lora和db训练，训练数据集9 Z' S* b9 T. S! u' m4 P
也就是素材图片是重中之重*3，最好要上半身，没手没腿没水印，如果有手，就在预处理的txt文件里写上 hand up, hands 同理水印就是 watermark
: W) M! Q% u. R! A# u' I- K4 k (, 下载次数: 12)
6 x0 M* d8 P. V" [$ E& S: m即使这样头发 long hair，衣服 blue shirt，手 heart hands，水印，耳机 earphones，都写上去之后，背景是最难写的，要是个房间 room，沙滩 beach，透明背景transparent background 这样的还好，背景是个饭店还有横幅，这英文挨个查也太麻烦了，不如直接用ps抠掉背景了，要是觉得抠图麻烦那就写txt 背景的词条; O- n+ S' Y: m9 p& C3 f
(, 下载次数: 12)
7 d) M9 [" ~, |$ Y7 a上一帖也提到了，txt文件每写上一个词条 比如 hands 就相当于用ps 抠掉这个部分，剩下的脸部，或者穿衣服的人物就成了咱们额外写的触发词，比如futuan
* {- e8 K! m9 }- u- ^4 Y* b. N, t (, 下载次数: 11)
* E$ j9 d2 ~- m, v接下来就是今天的重头戏了，ps1脚本的参数设置，这里用的是b站青龙圣者的黄金法则(感觉我俩中二程度差不多)，https://www.bilibili.com/video/BV15j411F7nJ/
' j2 F  G! ]1 \* C; [黄金法则是先把参数设置成这样，batch size为1，最大epoch值为1，optimizer优化器选DAdaptation，学习率lr为1，unet lr为1，text_encoder_lr为0.5，其他不动
' p6 s# y5 M5 J, r (, 下载次数: 6) 5 I0 C8 d& Q; B' e# [$ q% y* w
为什么这么设置，因为最大epoch值为1，所以训练步数很少，又因为学习率太高，所以ai学习激进，很快就能出模型，也就是说想要好的模型，训练步数(素材图片数量*单张训练次数*最大批次epoch值 除以batch size值)多少很重要，假设训练步数越少，应该提升学习率，反过来训练步数越多，降低学习率* p+ J# ?% w* \7 T
我推荐设置为 训练3500步，学习率0.00004，又因为每个人的每个lora模型训练时的素材图片不可能一样，所以不存在固定参数的，只能说根据推荐参数试试吧7 B- e8 J2 x9 j( J. R5 g0 a
继续说黄金法则，选择DA优化器的前提下很快的跑一遍lora模型，再运行一下tensorboard.ps19 z: h+ P6 b# a1 o! s1 ]
(, 下载次数: 9)
7 @0 J8 D7 \. M. `$ [( A0 k# y (, 下载次数: 10)
% |, \0 Q6 z5 h9 J可以看到之前所有lora模型的学习率和loss值曲线图，可以打勾其中一个看到曲线图，而且只有DA优化器有第六张曲线图，因为这个DA优化器在训练时，它会给你一个推荐的学习率，看最高点的值是多少就可以了，比如1.2e-4，那就是0.00012，黄金法则就是把这个0.00012再除以3，得0.00004，这个0.00004应该就是" |5 Q2 t* e# M0 G5 F) x8 X
这个素材图片集的最好的学习率，然后把步数调成3500步到5000步即可3 R3 o; _) |3 L% Y& i
(, 下载次数: 5)
, A  ~. l3 o; c+ [+ ^再回到脚本界面，把优化器设置成lion即可，添加正则化数据集，个人感觉添加正则化之后效果很好，正则化数据集就是给ai学习图片的时候，给一些主模型里可能没有学习到的图片作为参考，比如这次主菜的果体图* ~: x" b3 C4 @- ~
(, 下载次数: 4) 0 g% D3 Z" r. J" A. }: m. f
新建正则化数据集和lora的训练数据集一样，就是先在train里新建一个reg文件夹，在reg里再新建一个1_nude的文件夹，目的是让ai学习的时候作为参考图片，这种图片是nude果体图，从而生成主模型里没有的果体图，因为正则化图片会影响素材图片，所以生成图会变成拼脸，比如把热巴老师和景甜老师的脸拼一起
9 _# x7 B& ]. h0 ]; `. _可以尝试改变prior loss weight正则化权重，也就是正则化图片对于素材图片的影响，推荐19 _" k; h) H) j# Z; z
(, 下载次数: 13) $ I) B' p3 w& B" t
最后就是测试生成出来的多个模型了，可以用webui主页最下面的XYZ图标选项来测试，操作方法在下图(也可以用comfyUI来做这个测试)
0 o5 D4 f& C' F% V( [ (, 下载次数: 8) 0 C5 g% ~9 K0 n* |& e  ]6 k
下面链接是主菜，上面的是 脚本ps1文件和 更新后的venv里的所有配置文件，直接拖拽进你的目录即可，就不用输入指令下载DA和Lion优化器了，因为是配置文件，推荐还是git强制更新为好，毕竟偶尔dll文件解压的时候会报错，其他的报错应该没有了，顺便一提，开着魔法上网软件不能训练lora模型，会报错，记得训练的时候把它关了，8g以下显存应该跑不了*3* M, F% F3 S" P  J3 ?. X
这次把做果体lora模型的详细设置都告诉了，lsp们得出来发帖了吧，技术比拼一下呗，看看谁做的图更好啊，而且如果都能做去衣的话，那不就是皇上点妃了嘛，已经练成黑魔法了
; ?2 `5 _) ?- k/ I. _" i# Z( x3 E# T' y3 L( M% s, w% d
( N$ e5 q! q( A7 `
因为新的poseX插件，用了几下，感觉一般，所以回帖说一下你们之后想看什么的教程，关于ai绘画的，comfyUI分区域作图？outpaint插件？dreambooth训练大模型？要不直接ai换脸 deepfacelab？可以去帮你们探探路，看看有多难不是4 d" G- g$ p, k  _, D1 s
最后继续在回帖点出你的心动女嘉宾，人物尽量不要和站长的一样，一样的做出来我害怕比不过他，嘿嘿
, ]9 U! j- w; s4 y% I7 y& X1 C; A3 q- \( X( J# X

) H0 M! {$ p- y4 F% K9 e+ v6 F! q% g0 }$ u$ l

' C' c/ k* g# ^# _: S) c5 _  I0 h4 G+ n# i" Z7 X9 \& x! Z
  g( q2 y% G5 l: T- X& B% e0 N

2 ]' V5 U2 r4 ~: B0 x8 ~3 {+ @5 V" a3 P. f9 ~4 j4 U# }# N




欢迎光临 司机社 (https://xsijishe.net/) Powered by Discuz! X3.4