程序员开发实例大全宝库

网站首页 > 编程文章 正文

粘土风格comfyui一键工作流,粘土一切你想粘的!

zazugpt 2024-09-08 11:21:28 编程文章 22 ℃ 0 评论

发现最近粘土风格在小红书非常流行,就搜了搜网上的教程,发现需要用remini或者借助其他工具才能生成,主要是这些软件很多需要付费!然后我就在网上查了一下,发现了有粘土风格的工作流,由于个人基础差爆肝学习了一下午终于弄清楚其中的逻辑,分享出来,供自己温故知新,供各位参考!

这个工作流有以下几个主要节点、粘土风格的lora节点、固定人物姿势或元素关系的反推提示词节点、controlnet的节点、保持人物脸部一致性的instand节点和ipadapter节点!

1.模型及lora选择!

这里我用的大模型是:juggernautxl_v9 lighting,值得注意的是大模型、lora和controlnet、ipadapter的模型都要用xl的或者sd1.5的,如果用了xl的大模型、但是用的sd1.5的lora则会出现报错!

附lora是:1.claymation xl 2.doctor diffusions大家可自行下载!

https://civitai.com/models/208168/claymate-claymation-style-for-sdxl
https://civitai.com/models/181962/doctor-diffusions-claymation-style-lora

链接lora的时候还是建议用comfyui自带的load lora比较方便,因为它可很方便的加载出view lora info查看lora的触发词!很多大佬用cr apply lora stack虽然能在一个节点里加载多个lora但是个人觉得不能随时查看触发词是个很大的问题!

2.图像反推这里用的wd1.4 tagger节点

本质是生成粘土风格是图生图的一种,既然是图生图我们就需要反推出提示词,在用wd1.4 tagger的时候要是因为网络原因下载模型有问题,建议开全局模式,或者手动下载每个模型两个文件,一个.onnx一个csv文件!每个文件名的一致!(发现很多问题都是网络问题)

在图像反推后需要一个string fuction的节点,借助这个节点可以连接wd反推出来的提示词和lora出发词及一些质量词,借助这个节点分段输入并组合输出提示词,如图!

3.接入controlnet

接入controlnet主要是要控制人物的姿势,或者人物与背景的关系、或者还原一些文字,所以controlnet你根据输入参考图的情况而定,xl用xl的controlnet即可!

4.连接instand

这个主要保证脸部特征一致,最大程度还原人物的形象,可用ipadapter代替,如果传的参考图没有人脸这个工作流会报错,bypass掉instand即可正常使用!

然后连接各个节点工作流即可搭建完成,有一个小窍门,利用imagescale to total pixel+vae encode+latent可以让生成的图片和上传的参考图同步如下图所示!

今天就到这里,感谢您的收看,明天继续学习!

本文暂时没有评论,来添加一个吧(●'◡'●)

欢迎 发表评论:

最近发表
标签列表