stablediffusion吧 关注:27,434贴子:94,501
  • 36回复贴,共1

如何利用ChatGPT优化SD模型以减少多人场景图像生成中的颜色污染

只看楼主收藏回复

在过去的一段时间里,我主要采用了SD的XL与Pony模型进行图像生成。尽管在生成单人图像时,这些模型的表现尚可接受,但在处理多人场景时,它们往往会出现颜色混淆的问题,尽管偶尔也能生成完全正确的图像。为了提升SD模型在图像生成时的精确度,我尝试引入了ChatGPT这一自然语言处理工具。
ChatGPT以其卓越的自然语言理解能力和逻辑连贯性而著称。因此,我向ChatGPT提出了具体的图像生成需求,即绘制两个女孩在阳光明媚的草坪上躺着看书的场景。其中一个女孩拥有蓝色的大波浪发型和红色眼睛,而另一个则是金色双马尾,眼睛呈蓝色。
ChatGPT成功地绘制出了这两个特征鲜明的女孩,并满足了我的所有要求。起初,两个女孩都是趴着看书的姿势,但在我多次强调和更正后,它们最终变为了躺着看书的姿态。
然而,当我尝试将ChatGPT生成的描述转换为关键词,并使用SD模型进行图像生成时,结果仍然出现了严重的颜色污染问题。因此,我特地来此寻求如何更好地利用ChatGPT来引导SD模型进行图像生成的专业建议和方法。


以下这张为SD生成


IP属地:山西1楼2024-04-15 15:57回复


    IP属地:山西2楼2024-04-15 16:21
    回复
      1.5本身对自然语言的支持就不好,sdxl要好一些。还是等未来的3.0吧,也不知道还能不能有了。


      IP属地:北京3楼2024-04-15 16:39
      收起回复
        大约在去年的时候,我用过一个插件,可以在一定程度上避免颜色混淆。
        不过根据楼主写的标题所示,楼主想要的方法似乎是「利用ChatGPT」而且要「优化SD模型」,好像就和我用到的插件没什么关系了。


        IP属地:日本4楼2024-04-15 16:39
        收起回复
          如果执着于用这个ai本身的话,那确实比较困难
          急着一定要弄出满意的效果的话,还是用ps把对应的颜色弄上去
          然后使用图生图,这个时候呢,要记得在提示词框中输入对应的颜色
          以及一定要记得开启tile模型
          各项参数你可以自行调整tile模型的权重太高的话那么变化太小,但是呢,重绘幅度太大的话就会导致颜色污染


          IP属地:江苏来自Android客户端5楼2024-04-15 17:12
          收起回复
            提示词里加break了么?只靠break搞不定的话可以试试regional prompt


            IP属地:黑龙江6楼2024-04-15 17:30
            收起回复


              IP属地:浙江7楼2024-04-15 17:47
              收起回复
                感觉折腾提示词意义不大,你需要 https冒号//github点com/Haoming02/sd-forge-couple 或者 https冒号//github点com/hako-mikan/sd-webui-regional-prompter


                IP属地:湖北8楼2024-04-16 14:56
                收起回复
                  不可能避免污染,只能尽量避免最多能到80%左右。最终还是要抽卡的。这是SD模型原理决定的。


                  IP属地:北京9楼2024-04-16 21:28
                  回复
                    把颜色提示词分开,比如你需要3个颜色,一个人一个加上背景总共3个。你就把正向提示词复制两个,在两两合并,最后提交给ks采样(注意合并方式为串联)


                    IP属地:河南来自Android客户端10楼2024-04-17 01:23
                    回复
                      目前做不到


                      IP属地:湖北来自Android客户端11楼2024-04-17 07:50
                      回复