高通吧 关注:169,300贴子:3,968,445

Draw things(本地AI SD绘图)基础教程

只看楼主收藏回复

自带APP store即可下载,适用于AS Mac、iPhone和iPad
对比pytorch版SD webui/comfyui,速度快很多且资源占用更低,能利用Apple silicon的NE加入计算渲染。
AS Mac需要m1以上配置
iPhone和iPad需要3GB以上内存,貌似a12起步(iPhone建议a14+6GB内存,iPad建议m1以上)
先说说core ml计算单元配置,大家可以根据配置来设置。
iPhone iPad和m系基础款Mac均使用CPU+NE即可,速度最快。
m系Pro用ALL(三开)可能最快
m系Max以上用CPU+GPU最快,原理是NE不能协同GPU加速计算,max以上这种级别GPU跑图速度已经超过NE了,而且NE只能绘半精度以内,不支持全精度,超过512x512就只能GPU跑。(这些也是今年m4可能攻破的几点)
至于机器设置的前两项是否开启,根据说明来看看你的内存大小合适哪些,16GB以上的话可以全开。

设置完后,去civitai网站下载model,分类选checkpoint
选自己想要的模型点下载(注意,点进去模型作者介绍的时候一般会有提示用的是SD1.4、1.5、2还是SDXL版本,用的哪些VAE也会提供),切到draw things,基本设置-模型-管理,弹窗后点底部中间类似下载,即可进入导入模型界面。已下载的文件选你刚才下好的模型,自定义变分自编码器一般指VAE,civitai也可以下载,一般通用840000,其他都可以不用动,设置完后导入即可。


IP属地:四川1楼2024-02-19 14:03回复
    然后填写正负向关键词,跟webui操作一样,不过重要一点是因为draw things用的是core ml模型,权重可能会跟pytorch版略微不同。draw things貌似负向关键词权重更高一点,因此必须加入一些负向关键词才能让画面正常。
    (watermark),sketch, duplicate, ugly, text, logo, monochrome, worst face, (bad and mutated hands:1.3), (worst quality:2.0), (low quality:2.0), (blurry:2.0),
    以上负向关键词一般模型都通用。
    关键词可以去civitai查查作者一般有提供,也有魔法书网站或者词典翻译。


    IP属地:四川2楼2024-02-19 14:14
    回复
      分辨率选1152x768为举例,种子模式选NV GPU兼容可以跑出来更接近n卡跑出来的图像,也可以torch兼容
      放大器用X4+ Anime合适二次元,步数一般为20-30即可,文本指导7,采样器2M Karras,clip跳过一般都选2,高清修复第一步尺寸尽量均衡一点,选576x384档位,第二步强度一般选60%,简单来说就是基于第一步跑出来的小图然后图生图高清修复,第二步强度越高最终跑出来的图像越偏离第一步图像。以上civitai作者一般都有提供参数。



      IP属地:四川3楼2024-02-19 14:27
      收起回复
        如果要用到easynegative,可以点全部-T.I. Embedding-管理,导入easynegative文件即可
        然后负向提示词框下面点回形针图标就可以选了。


        IP属地:四川4楼2024-02-19 14:32
        回复
          最后注意,如果要文生图一个全新图像,一般都要点右下角新建一个画布。

          此外还可以在画布进行缩放然后进行扩图、导入图像进行图生图、controlnet等功能。
          draw things还支持模型融合mix、训练Lora、自动化脚本(自带分区放大SD Ultimate Upscaler)等,大家可以自行研究,如有不懂的可以讨论。


          IP属地:四川5楼2024-02-19 14:39
          回复
            最后分享一下我去年Mac跑的图吧











            IP属地:四川6楼2024-02-19 14:43
            收起回复
              controlnet可以用吗


              IP属地:浙江来自iPhone客户端7楼2024-02-19 14:50
              收起回复
                controlnet自带提供下载,支持很全面,跟webui一样,模型也支持SDXL和LCM


                IP属地:四川来自iPhone客户端8楼2024-02-19 14:54
                收起回复
                  突然想起来高通从前年就开始吹的跑图app在哪里可以下载? 要求是本地运算,npu加速,可以载入模型


                  IP属地:江苏来自iPhone客户端9楼2024-02-19 15:07
                  收起回复
                    ipad和手机怎么从civitai上下载模型然后放到里面用?我自己从app里面提供模型里面发现好用的模型太少了。


                    IP属地:广东来自Android客户端10楼2024-02-19 15:45
                    收起回复
                      楼主您好,第一次接触这个,跟着步骤走,最后要按哪里开始生成,谢谢!


                      IP属地:广东11楼2024-02-19 17:10
                      收起回复
                        楼主您好,请问是哪里生成,点了没反应,小白请见谅


                        IP属地:广东12楼2024-02-19 17:22
                        收起回复
                          按楼主教程生成了


                          IP属地:广东来自iPhone客户端13楼2024-02-19 18:06
                          收起回复
                            pixai 线上生图省时省力,但是耗资源。
                            自己搞没有限制,但是速度和精力不那么理想。


                            IP属地:美国来自iPhone客户端14楼2024-02-19 20:08
                            回复
                              iPhone12 pro以下都不能用了?


                              IP属地:四川来自Android客户端15楼2024-02-19 20:17
                              收起回复