你有一份Cyber romance 请查收
前置知识:
10.29号更新(推荐全体流程用VSCode操作、大大提升效率)
概念说明
webui的train标签页可以实现为SD及衍生模型增加类似 DLC 扩展包的自训练功能
目前为止SD的自训练方法训练出pthypernetworks训练embedding训练(Textual Inversion)Aesthetic Gradients embedding训练出ckpt文件dreambooth训练 11.18日更新了DreamBooth的教程
这里引用AiDraw文档中部分内容说明上述方法原理及区别
Textual Inversion 训练为了 embeddings，embeddings 为 Ai 提供处理过的输入数据，告诉这个角色“具体是什么”，训练特殊的人物，角色会更好。
Hypernetworks 则会对超网络的改动，与 embeddings 不同，Hypernetworks 会对模型进行微调，所以泛化效果更加好，训练画风会更好。
Aesthetic Gradients 通过计算平均权重，来提升图片的质量，提高美观度。在少量提示词情况下也可以生成效果不错的作品。
dreambooth 可适应用户特定的图像生成需求。"只需几张指定物体的照片和相应的类名（如“狗”）作为输入，并添加一个唯一标识符植入不同的文字描述中，DreamBooth 就能让被指定物体“完美”出现在用户想要生成的场景中。" 和 Textual Inversion 不同，dreambooth 向输出插入训练数据，可以做到高相似，效果特别好。但是不能即插即用, 强度不可调。
准备数据集
512*51230张左右统一风格 不要多人 不要空镜
可以借助Birme这个网站快速切图.
可以借助birme网站切图
当数据集比例不一时、可以通过outpaint外绘来统一、避免裁掉很多细节
示例:9:16 -> 1:1
准备预处理所需环境
用pip install 安装deepdanbooru(负责给你的训练集里的每张图片打标签)依赖pip install tensorflowpip install tensorflow-io去deepdanbooru官网,查看刚才装的两个东西是否满足deepdanbooru 依赖的版本要求
如果刚才装的tensorflow 和 tensorflow-io 满足上述要求,去修改stable diffusion webui 目录下的 launch.py 的对应代码 tensorflow 和 tensorflow-io 改成自己机器上装的版本 (作用是程序运行时 让程序知道按照自己的环境就够了 没必要装最新的然后一直耗着(加速源上没对应版本) 最后卡死报错)
重新运行webui 并在运行命令中加上预处理相关参数 (—no-half —precision 会占用更多硬件资源 如果机器性能不够去掉这两个参数) COMMANDLINE_ARGS="--deepdanbooru --no-half --precision full --port 6006" REQS_FILE="requirements.txt" python launch.py
创建你要hypernetwork的文件
webui train选项卡下create hypernetwork 下指定你要创建hypernetwork的名字 (比如角色人物名 )后面训练完成后就是用这个名字加入prompt中,然后点击create
预处理训练数据(用deepdanbooru)
到settings选项卡下
设置 Interrogate: deepbooru 指定某个百分比下的标签会被过滤掉 (建议使用 0.75,也就是保留预测结果大于 75%的结果。)取消勾选 Interrogate: deepbooru sort alphabetically (不让deepbooru识别完标签后 用标签子母顺序代替预测概率顺序)
回到train选项卡下的preprocess images设置
填上 图片训练集源路径 和 预处理完的目的路径(之后训练用的就是这个路径下的文件)勾选use deepbooru for caption(让 deepbooru来 描绘文件都有啥关键词)点击preprecess(deepbooru 就借助tensorflow开始工作了)
运行完成后刚才的目的路径下就有了每张照片的描述,查看并把你不想要的词删除(懒的话可以跳过)
训练前相关参数设置(这里给出综合几处wiki blog 总结的主流推荐设置、有能力的请自行diy)
settings选项卡下的train设置
Unload VAE and CLIP from VRAM when training勾选,训练时从 VRAM 中卸载 VAE 和 CLIP 设置选项卡上的此选项允许您以较慢的预览图片生成为代价节省一些内存。记得点apply settings
train选项卡下的train设置
选择刚才创的Hypernetwork学习率0.000005(100000步)每100步在你填的log路径下随机生成一张图片测试一下 (用于给你展示一下此时pt(hypernetwork文件拓展名)的训练效果)然后还会保存一份当前训练步数的 pt文件 (方便你之后自行选择自己满意的)
开始训练 Train Hypernetwork
点击下面的Train Hypernetwork 开始训练 (cuda 报错貌似再次运行就能成功 其他报错大部分是因为显存不够)
动态观察训练效果
训练是一个动态的过程
Learning rate(超参数：学习率)，学习速率代表了神经网络中随时间推移，信息累积的速度，这个参数较大地影响了影响训练的速度。
通常，Learning rate越低学习越慢（花费更长的时间收敛），但是效果一般更好。
用jupterlab之类的工具到log路径下(默认是textual_inversion/训练日期/pt名/
images/ 下是通过每100steps观察AI的迭代效果生成一张图片测试一下 (用于给你展示一下此时pt(hypernetwork文件拓展名)的训练效果)hypernetworks/ 下是每训练100步生成的pt文件 (方便你之后自行选择自己满意的)
个人的训练实例(训练的赛博朋克边缘行者的Lucy)
时间:大概三四个小时步数:20000多步时候的结束的
结束训练(结束时机)
连着几张出鬼影loss大于0.3loss连着10轮没降自己觉得差不多了
以上几种情况下便可以结束
点击Train选项卡下Train Hypernetwork边上的Interrupt结束
使用hypernetwork
挑出后期满意的pt
images/下找最满意的图片对应步骤号,
去textual_inversion/hypernetworks/找到对应的pt文件,
复制到stable-diffusion-webui/models/hypernetworks 下改名 (PT文件的文件名就是等会程序能识别的 prompt tags 所以建议起个不会和其他东西混淆的独特ID (自己原来用lucy就会有时被识别为欧美小女孩所以改成了lucycyber))
回到sd webui中加载pt
settings选项卡下StableDiffusion设置下Hypernetwork选刚才准备的pt 其他保持如下图的设置点击Apply settings保存!!!
现在就可以在txt-img img-img 各个功能下识别你训练的hypernetwork了 (注意模型你用那个模型训练的hypernetwork就只能在那个模型上用)
IMG-IMG
TXT-IMG
放下自己训练结果对照
loopback 迭代草图
(loopback还可配合inpaint进行修图、类似ps 美图秀秀里的修补功能)
成果展示
一个技巧 在prompt中输入 character profile或者character sheet 可以让AI画 人物概念设计图 可以检验hypernetwork训练成果
pt迭代之路(按顺序挑了部分训练过程中生成的图片做了个gif)
按顺序部分pt生成图
原数据集:
原数据集
小技巧:
（你知道吗 在训练 hypernetwork 做露西的pt 的时候 播放《I Really Want to Stay At Your House》会让AI 对你数据集印象更深哦 (迫真）2333)
休闲时刻:
等数据训练的时候,可以看下我之前剪辑的边缘行者视频 (音乐分享向 深度网抑云用户出品 ) 放松一下 (有彩蛋哦)
【赛博朋克 边缘行者】给你一瓶魔法药水，直到月亮倾覆 【一起去月亮，是最高级的浪漫】_哔哩哔哩_bilibili
封面:
偏后期的一个pt出的图,感觉有最后lucy在月球上回忆David的意境
参考链接
https://github.com/AUTOMATIC1111/stable-diffusion-webui/discussions/2670
https://stable-diffusion-book.vercel.app/5_drawing/#hypernetworks
Hypernetwork training for dummies
【Novel AI】手把手教你Textual Inversion神经网络训练详细操作
Changelog
11.27日更新 webUI作者近期用纯pytorch实现了deepdanbooru 小伙伴可以不用折腾tensorflow啦
11.18日更新 奉上大家期盼已久的 DreamBooth全套教程
11.11号更新 万众期待的dreambooth自训练现在可以在webUI里完成(以extension形式提供 具体使用将于这两天在下面的文章中逐步完善更新 敬请期待)
11.3 号更新 最近更新后训练hypernetwork激活函数以及hypernetwork层结构都可以自行制定,因此变得复杂起来 可参照下方github上关于这方面的讨论
以及另一位大佬在整理上面讨论后自己训练下来,总结的一些Hypernetwork画风训练经验分享(中文)
11.1 更新deepdanbooru自行下载安装方式
对于没有git加速源的同学 可以不用忍受缓慢的下载 自己从github上下载并放到服务器相应路径 详细过程可见新文章 庖丁解牛 Stable-diffusion-webui 插件拓展及依赖汇总
10.29 dreambooth训练近期会尝试下 想尝鲜的小伙伴可以去看看下面的大佬训练结果
想动手尝试的可以看下这篇基于autodl平台的教程: https://github.com/crosstyan/dreambooth-scripts-for-autodl
10.29 更新了训练过程中的一些技巧(通过outpaint来统一数据集宽高比例 以及成果的更多使用方法(loopback))
相关文章
