当前位置： 首页 > news >正文

Comfyui容器化部署与简介

news 来源：原创 2024/7/4 23:59:15

目前使用 Stable Diffusion 进行创作的工具主要有两个：Stable Diffusion WebUI 和 ComfyUI。本文重点介绍ComfyUI的部署使用。
ComfyUI 可定制性很强，可以让创作者搞出各种新奇的玩意，通过工作流的方式，也可以实现更高的自动化水平，创作方法更容易传播复现，支持多任务批量提交到comfyui，支持websocket对接。 但是 ComyUI 的上手门槛有点高，对 Stable Diffusion 以及各种扩展能力的原理需要有一定的理解，动手能力要求也比较高。但作为专业的软件化平台，更适合软件团队集成或二次开发有实际价值的应用。所以我们更推荐使用ComfyUI的方式替代WebUI。

环境准备

插件

  • 插件管理器

git clone https://github.com/ltdrdata/ComfyUI-Manager.git

  • 翻译

git clone https://github.com/AIGODLIKE/AIGODLIKE-ComfyUI-Translation.git

  • 中文提示词输入，绘画节点

git clone https://github.com/AlekPet/ComfyUI_Custom_Nodes_AlekPet.git

  • 美化辅助，文本补全，吸附网络

https://github.com/pythongosssss/ComfyUI-Custom-Scripts.git

  • ControlNet预处理器

https://github.com/Fannovel16/comfyui_controlnet_aux

  • 分块采样器插件

https://github.com/BlenderNeko/ComfyUI_TiledKSampler.git

  • 放大插件

https://github.com/ssitu/ComfyUI_UltimateSDUpscale.git

  • Derfuu插件

https://github.com/Derfuu/Derfuu_ComfyUI_ModdedNodes.git

模型

准备如下模型：
  • stabilityai/stable-diffusion-xl-base-1.0
  • stabilityai/stable-diffusion-xl-refiner-1.0
  • stabilityai/sdxl-vae
  • stabilityai/control-lora
  • xinsir/controlnet-canny-sdxl-1.0
  • vaeapprox-sdxl
  • controlnet-canny-sdxl-1.0
  • SargeZT/controlnet-sd-xl-1.0-softedge-dexined
  • thibaudcontrolnet-openpose-sdxl-1.0
下载地址：

插件可以提前下载，也可以通过ComfyUI-Manager。我们更推荐采用手动下载的方式，个人控制性更强，后期升级维护更加可控。

#checkpoint
git clone https://huggingface.co/stabilityai/stable-diffusion-xl-base-1.0
git clone https://huggingface.co/stabilityai/stable-diffusion-xl-refiner-1.0
#vae
git clone https://huggingface.co/stabilityai/sdxl-vae#vaeapprox
wget https://github.com/AUTOMATIC1111/stable-diffusion-webui/releases/download/v1.0.0-pre/vaeapprox-sdxl.pt#controlnet
git clone https://huggingface.co/stabilityai/control-lora
git clone https://huggingface.co/xinsir/controlnet-canny-sdxl-1.0
###dexined soft edge preprocessing
wget https://huggingface.co/SargeZT/controlnet-sd-xl-1.0-softedge-dexined/resolve/main/controlnet-sd-xl-1.0-softedge-dexined.safetensors
###ZoeDepth repo 中的默认参数将其着色为灰度
wget https://huggingface.co/SargeZT/controlnet-sd-xl-1.0-depth-16bit-zoe/resolve/main/depth-zoe-xl-v1.0-controlnet.safetensors
###OpenPose
wget https://huggingface.co/thibaud/controlnet-openpose-sdxl-1.0/resolve/main/control-lora-openposeXL2-rank256.safetensors
wget https://huggingface.co/thibaud/controlnet-openpose-sdxl-1.0/resolve/main/OpenPoseXL2.safetensorsgit clone https://huggingface.co/kohya-ss/controlnet-lllite

base 与 refiner 模型的区别
base 模型是用来做文生图，refiner 模型是用来做图生图的。首先，使用基础模型（Base）模型生成(有噪音的)潜在变量，然后再由专门用于去噪的精修模型（refiner）进一步处理。基础模型stabilityai/stable-diffusion-xl-base-1.0本身也可以作为独立模块使用，串联起效果更好。

模型分类简介：
Checkpoint

Checkpoint 是 SD 的核心，是最基本的必备模型，体积较大，也被称为大模型。越大的模型代表融合的元素越多，表现的效果细节越丰富。不同的大模型使用不同的图片训练而成，对应不同的风格，相当于最底层的引擎。我们在模型网站筛选 Checkpoint 就是筛选大模型。大模型后缀分两种，ckpt 和 safetensor 。一般 ckpt 融合的数据多一点，safetensor 融合的数据少一点，模型侧重不同，各有优略，不代表好坏。

VAE

VAE（Variable Auto Encoder，变量自动编码器）是一个添加到稳定扩散检查点模型中的文件，以获得更鲜艳的颜色和更清晰的图像。VAE 通常还有改善手部和面部的额外好处。模型可以内置 VAE，也可以使用一些通用的外部VAE，某些外部VAE甚至比内置VAE工作得更好。 如stabilityai/sdxl-vae 可以配合基础模型stabilityai/stable-diffusion-xl-base-1.0使用。

ControlNet

ControlNet 是一个控制预训练图像扩散模型的神经网络。它允许输入调节图像，然后使用该调节图像来操控图像生成。它调节图像类型众多，例如涂鸦、边缘图、姿势关键点、深度图、分割图、法线图等，这些输入都可以作为条件输入来指导生成图像的内容。

loras

低秩适应模型，在不改变原有模型的情况下去添加一些额外的低秩举证以调整模型权重。提升模型性能以及适应性
可以理解为stable diffusion（SD)模型的一种插件，和hyper-network，controlNet一样，都是在不修改SD模型的前提下，利用少量数据训练出一种画风/IP/人物，实现定制化需求，所需的训练资源比训练SD模要小很多，非常适合社区使用者和个人开发者。

hypernetworks

中文名字叫超网络，功能和embedding，lora类似，都是对生成的图片进行针对性的调整,它是一个附加到稳定扩散模型的小型神经网络，主要用于修改控制图像风格。使用比较少，有逐步被Lora 代替的趋势。

GFPGAN

GFPGAN 是开源的人脸修复算法，它利用预先训练好的面部 GAN（如 StyleGAN2）中封装的丰富和多样的先验因素进行盲脸 (blind face) 修复，旨在开发用于现

Embedding

它是一种用于提高AI绘画效果的技术，可以将一组图片的特征提取出来，保存为一个小文件，然后在生成图片时，通过输入关键词来激活这个文件，从而实现风格的转换或人物的还原。Embedding大小只有几十K或几个M，它可以同时调用多个文件进行混合。它必须基于一款模型来生成和使用

源码下载

1：下载代码仓库
git clone https://github.com/comfyanonymous/ComfyUI.git
2、下载所有插件并存放在：ComfyUI/custom_nodes/
image.png
3、根据前面准备的模型，把模型存放在指定宿主机目录，使用时挂载到容器

├── Codeformer
├── controlnet
│?? ├── control-lora
│?? ├── control-lora-openposeXL2-rank256.safetensors
│?? ├── controlnet-canny-sdxl-1.0
│?? ├── controlnet-scribble-sdxl-1.0
│?? ├── controlnet-sd-xl-1.0-softedge-dexined.safetensors
│?? ├── depth-zoe-xl-v1.0-controlnet.safetensors
│?? └── OpenPoseXL2.safetensors
├── deepbooru
│?? └── Put your deepbooru release project folder here.txt
├── GFPGAN
│?? ├── alignment_WFLW_4HG.pth
│?? ├── detection_Resnet50_Final.pth
│?? ├── GFPGANv1.4.pth
│?? └── parsing_parsenet.pth
├── hypernetworks
├── karlo
│?? └── ViT-L-14_stats.th
├── Lora
├── Stable-diffusion
│?? ├── sdxl-turbo
│?? ├── stable-diffusion-2-1
│?? ├── stable-diffusion-xl-base-1.0
│?? └── stable-diffusion-xl-refiner-1.0
├── VAE
│?? └── sdxl-vae
└── VAE-approx└── vaeapprox-sdxl.pt18 directories, 11 files

本地环境部署

创建虚拟环境

conda create -n comfyui python=3.10
conda activate comfyui

安装pytorch和相关依赖

#安装pytorch
pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simpl
pip3 install torch torchvision torchaudio

安装相关依赖

pip install -r requirements.txt

插件相关依赖，在第一次启动时会自动安装部署

修改配置文件

cp extra_model_paths.yaml.example extra_model_paths.yaml
编辑 extra_model_paths.yaml
修改checkpoints的路径和其他模型路径，请根据你实际放置位置来修改：
vim extra_model_paths.yaml

a111:base_path: /app/ComfyUI/checkpoints: models/checkpointsconfigs: models/configsvae: models/VAEloras: |models/Loramodels/LyCORISupscale_models: |models/ESRGANmodels/RealESRGANmodels/SwinIRembeddings: embeddingshypernetworks: models/hypernetworkscontrolnet: models/controlnet

容器化部署ComfyUI

准备Dockerfile文件

FROM pytorch/pytorch:2.2.1-cuda12.1-cudnn8-runtime
ARG DEBIAN_FRONTEND=noninteractive
ENV TZ=Etc/UTC
ENV LANG=zh_CN.UTF-8
WORKDIR /appRUN pip config set global.index-url http://mirrors.aliyun.com/pypi/simple
RUN pip config set install.trusted-host mirrors.aliyun.comCOPY ComfyUI/ /app/ComfyUI/
WORKDIR /app/ComfyUIRUN pip install --use-pep517 -r requirements.txt
RUN pip install -r  custom_nodes/comfyui_controlnet_aux/requirements.txt
RUN pip install -r  custom_nodes/ComfyUI-Manager/requirements.txt
RUN pip install -r  custom_nodes/ComfyUI_Custom_Nodes_AlekPet/ArgosTranslateNode/requirements.txt
RUN pip install -r  custom_nodes/ComfyUI_Custom_Nodes_AlekPet/DeepTranslatorNode/requirements.txt
RUN pip install -r  custom_nodes/ComfyUI_Custom_Nodes_AlekPet/GoogleTranslateNode/requirements.txt
RUN pip install -r  custom_nodes/efficiency-nodes-comfyui/requirements.txtEXPOSE 8188
CMD [ "python","main.py ","--port 8188"]

执行构建

docker buile -t qingcloudtech/comfyui:v1.0 .

启动容器

docker run -it --gpus all \
-p 8188:8188 \
-v /u01/workspace/models/stablediffusion:/u01/workspace/models/stablediffusion \
-v /u01/workspace/comfyui/output/:/app/ComfyUI/output \
qingcloudtech/comfyui:v1.0 python main.py

启动容器（docker-compose方式）

准备配置文件
version: '3.8'
services:comfyui:image: qingcloudtech/comfyui:v1.0container_name: comfyuicommand: python /app/ComfyUI/main.pydeploy:resources:reservations:devices:- driver: nvidiacount: allcapabilities: [gpu]volumes:- /u01/workspace/models/stablediffusion/:/u01/workspace/models/stablediffusion/- /u01/workspace/comfyui/output/:/app/ComfyUI/output#- /u01/workspace/ComfyUI/extra_model_paths.yaml:/app/ComfyUI/extra_model_paths.yamlnetwork_mode: host
执行启动命令：
docker-compose up -d

演示访问：

http://127.0.0.1:8188
image.png

【Qinghub Studio 】更适合开发人员的低代码开源开发平台
【QingHub企业级应用统一部署】
【QingHub企业级应用开发管理】
【QingHub演示】
【https://qingplus.cn】

相关文章：

  • mysql log_bin
  • Next.js 加载页面及流式渲染（Streaming）
  • 小公司要求真高
  • 247 H指数
  • DolphinScheduler 3.x 执行insert into SQL任务显示成功，但查不到数据
  • 网络仿真方法综述
  • 优质短视频素材下载网站有哪些？分享优质短视频素材下载资源
  • Git：从配置到合并冲突
  • 无人机遥感在农林信息提取中的实现方法与GIS融合应用
  • 基于实验的电动汽车动力电池SOC
  • 双非本科一年20w，已是人中龙凤了
  • 【问题解决】adb remount 失败或刷机无法连接设备（KaiOS）
  • 苹果WWDC 2024 带来的 AI 风暴：从生产力工具到个人助理，AI 将如何融入我们的生活？
  • Web前端开发个人技能全面剖析：四维度深度理解，五能力实战展现，六要素构建优势，七步骤持续精进
  • 云计算服务
  • 《Javascript数据结构和算法》笔记-「字典和散列表」
  • 〔开发系列〕一次关于小程序开发的深度总结
  • CoolViewPager:即刻刷新,自定义边缘效果颜色,双向自动循环,内置垂直切换效果,想要的都在这里...
  • crontab执行失败的多种原因
  • HTTP中GET与POST的区别 99%的错误认识
  • Intervention/image 图片处理扩展包的安装和使用
  • Netty+SpringBoot+FastDFS+Html5实现聊天App(六)
  • vue：响应原理
  • Vue实战(四)登录/注册页的实现
  • 第十八天-企业应用架构模式-基本模式
  • 解析 Webpack中import、require、按需加载的执行过程
  • 前端存储 - localStorage
  • 微信小程序开发问题汇总
  • 译米田引理
  • 交换综合实验一
  • ### RabbitMQ五种工作模式：
  • #Linux杂记--将Python3的源码编译为.so文件方法与Linux环境下的交叉编译方法
  • #ubuntu# #git# repository git config --global --add safe.directory
  • （51单片机）第五章-A/D和D/A工作原理-A/D
  • （6）添加vue-cookie
  • （附源码）springboot太原学院贫困生申请管理系统 毕业设计 101517
  • （三）Pytorch快速搭建卷积神经网络模型实现手写数字识别(代码+详细注解)
  • (转)菜鸟学数据库（三）——存储过程
  • (转载)微软数据挖掘算法:Microsoft 时序算法(5)
  • ***汇编语言 实验16 编写包含多个功能子程序的中断例程
  • *p=a是把a的值赋给p，p=a是把a的地址赋给p。
  • . NET自动找可写目录
  • .bashrc在哪里，alias妙用
  • .dwp和.webpart的区别
  • .gitignore文件忽略的内容不生效问题解决
  • .mysql secret在哪_MYSQL基本操作（上）
  • .net core 控制台应用程序读取配置文件app.config
  • .Net Remoting(分离服务程序实现) - Part.3
  • .NET/C# 使用反射注册事件
  • .net安装_还在用第三方安装.NET？Win10自带.NET3.5安装
  • .net开发时的诡异问题，button的onclick事件无效
  • .net连接MySQL的方法
  • .php结尾的域名,【php】php正则截取url中域名后的内容
  • [ vulhub漏洞复现篇 ] Hadoop-yarn-RPC 未授权访问漏洞复现
  • [CF494C]Helping People