当前位置： 首页 > news >正文

记录 AI绘图 Stable Diffusion的本地安装使用，可搭建画图服务端

news 来源：原创 2024/4/28 1:34:13

开头

最近刷短视频看到了很多关于AI绘图，Midjourney，gittimg.ai，Stable Diffusion等一些绘图AI工具，感受到了AI绘画的魅力。通过chatGPT生成关键词再加上绘图工具，真是完美，文末教大家如何用gpt提词

Midjourney 算是体验最好的了，生成的图片也特别完美，使用也简单，它是在线网页，计算在云服务器上

新人有 25 次免费使用次数，不加入特定指令的情况下，是能生成四合一的图片的（算一次），单独挑出其中一张选择U或V（U是放大图片，U1\U2\U3\U4 分别指的是放大四张图片中的某一张，V是采用图片的构图形式，重新生成），只需要在输入框输入“/imagine”就可以开启AI智能图片之旅。输入指令 /info 能查看剩余分钟，订阅信息。Midjourney

gittimg.ai是一套神奇的 AI 工具，可以大规模生成原始图像、修改照片、将图片扩展到原始边界之外，或创建自定义 AI 模型

平台提供了20多个基于Stable Diffusion的AI模型。特别友好的是，每个用户每月免费提供了100张图片生成。几秒钟就能生成一张图片，还是很快的。getimg.ai

Stable Diffusion 开源免费，出图速度与电脑配置有关

和Midjourney功能差不多，可以文字转图片。电脑显卡越好出图越快。不过安装过程挺费劲的，花费了一天的时间才安装好，本篇文章将围绕Stable Diffusion从安装到使用的过程来介绍。项目地址

由AI画出来的人物，够真实吧

image.png

还有风景图，这个是用默认模型画的

image.png

AI绘图

什么是AI绘图

AI绘图是指使用人工智能（AI）技术生成或辅助创建图像和视觉内容的过程。AI绘图工具通常利用深度学习算法，如生成对抗网络（GANs）、变分自编码器（VAEs）和其他神经网络架构，以生成新的图像、对现有图像进行风格迁移、涂色，甚至根据文本描述生成相应的图像。

  1. 艺术创作：AI可以生成独特的艺术作品，模仿著名画家的风格，或者根据用户输入的指导进行创作。
  2. 设计：AI辅助设计工具可以帮助设计师更快地创建图标、插图、海报等视觉元素。
  3. 动画与游戏：AI可以自动生成游戏角色、场景和物品，减轻开发人员的负担，并提高创作效率。
  4. 影像处理：AI可以用于自动进行图像修复、去噪、涂色等操作，提高处理质量和效率。
  5. 图像生成：基于文本描述生成图像的AI模型可以为广告、社交媒体和其他平台提供定制的视觉内容。

Stable Diffusion

介绍 Stable Diffusion 是一个开源的工具，我们可以用文字来描绘 并将文字发给它，它就能帮我们生成对应的图片，同时它还支持图生图功能，等等。

模型

使用这个工具需要使用模型，官方也提供了对应的图像模型，下载即可。同时还可以去C站下载小模型来绘制不同领域的图片

配置

这个工具对硬件要求不是特别高，所以在我们个人电脑也能跑，不过生成的速度取决于电脑配置，显卡越好速度越快。由于该工具比较复杂，然后我们需要借助Stable Diffusion web ui 可视化工具来操作

安装

在线使用

在线使用需要借助谷歌的服务：stable-diffusion-webui-colab。需登录谷歌账户，然后点击页面中的启动 即可直接使用。在线使用本期先不细讲

image.png

本地安装使用

这里我使用的设备是笔记本电脑，window11，RTX20250，16g内存，12代因特尔处理器，生成一张图大概20秒

Stable Diffusion web ui依赖于Python3.10.6，所以需要先下载安装Python

安装Python

Python下载地址www.python.org/downloads/w…

我这里下载的是安装版本，安装时候记得勾选添加到PATH，这样省得自己添加环境变量了

下载Stable Diffusion web ui

如果你没有安装git，那么需要安装一下git 下载地址

git clone https://github.com/AUTOMATIC1111/stable-diffusion-webui.git

安装依赖

直接运行项目目录下的webui-user.bat文件，它将会自动安装所有的依赖，这里最好打开科学上网(git走的是终端的网络，上网工具需要开网卡模式)，不然下载很慢还容易失败。

安装完依赖后会自动启动，因为首次要安依赖所以很慢，下次启动就会很快了

image.png

终端出现127.0.0.1:7860字样就代表启动成功了，然后使用浏览器访问即可，安装好默认是英文的

image.png

设置语言为中文

  • 选择 Extension 选项卡，点击 Install from URL 子选项卡
  • 复制git仓库地址
https://github.com/dtlnor/stable-diffusion-webui-localization-zh_CN
  • 点击install按钮 进行安装。如图 image.png
  • 然后重启webui，以确保插件载入成功。选择Settings，点击Reload UI重启 image.png
  • 在 Extensions 选项卡，确定已勾选本扩展☑️；如未勾选，勾选后点击Apply and restart UI橙色按钮启用本扩展

image.png

  • 切换语言包(zh-CN)

  • 在 Settings 选项卡中，找到 User interface 子选项

  • 然后去页面最底部，找到 Localization (requires restart) 小项，找到在下拉选单中选中 zh_CN （如果没有就按一下🔄按钮），如图 image.png

  • 然后按一下 页面顶部左边的 橙色 Apply settings 按钮 保存设置，再按 右边的 橙色 Reload UI 按钮 重启webUI

image.png

到这里就完成了设置中文，重启webui后就切换为中文界面了

image.png

下载模型

模型说明

大模型 画图主要就是使用大模型的一些数据来生成图片，小模型lord的功能就是对大模型的一些参数做一些微调

大模型

下载官方提供的大模型github.com/camenduru/s…

打开页面后，滑动到下面。如图。我这里下载的是1.5版本，稳定版

image.png

然后跳转页面，往下滑，找到Download，选择4.27G的这个

image.png

如果你想要绘制人物，那么推荐下载这个模型，绘制美女就用这个模型chilloutmix是日本的一位作者开发的AI人像模型，符合亚洲用户喜好的美女人像，上面的美女就是本模型画出来的

image.png

然后将下载的大模型放到 指定的文件内\stable-diffusion-webui\models\Stable-diffusion

image.png

小模型Lora

我们可以去C站找喜欢的小模型下载Civitai

image.png 找到你喜欢的图像，然后点击进去，选择下载，一般小模型就几百M

image.png

小模型我们放到 Lora文件夹\stable-diffusion-webui\models\Lora

image.png

以下是一些使用chilloutmix模型画出来的的图

image.png

使用

Stable Diffusion web ui 功能很多，我们主要用到如下两个功能

  1. 文生图(text-img)就是通过描述词来画图
  2. 图生图(img-img)导入图片，然后在加上描述词进行画一张新的图片
文生图

(如何下载导入模型在前面的安装篇章有说)

如图，页面左上角这里，选择大模型，我们可以切换想要的大模型。我选择官方默认模型

image.png

输入一些正面提示词

green sapling rowing out of ground,mud,dirt,grass,high quality,photorealistic,sharp focus,depth of field

image.png

使用chilloutmix模型

首先去C站找到喜欢的模型图片，然后点击图片右下角叹号

image.png

小模型下载说明在前面已经讲了。然后将提示信息，和对应的参数 在Stable diffusion web ui 上填写，然后就可以生成啦

image.png

启动参数

可以编辑项目目录下的 webui.bat文件，加入一行参数，如图

image.png

这里加的参数意思分别为

  • --listen启用局域网访问,这样就可以在别的电脑访问啦

  • --port 8888设置端口号为8888

  • --use-cpu设置使用cpu来处理，没显卡的电脑需要设置一下，因为默认是使用显卡GPU

如果想要通过api调用来生成图片，可以使用--api参数，启动webui后，在url地址上加上/docs就能看见api接口文档了。这样就能自己编写代码来调用文生图等等一些功能了接口详细文档

还有很多参数可以查阅官方文档

其它

默认使用的是GPU，如果没独显可能需要配置一下参数选择使用cpu处理

关于提示词

负面提示词

通用负面提示词: (deformed iris, deformed pupils, semi-realistic, cgi, 3d, render, sketch, cartoon, drawing, anime:1.4), text, close up, cropped, out of frame, worst quality, low quality, jpeg artifacts, ugly, duplicate, morbid, mutilated, extra fingers, mutated hands, poorly drawn hands, poorly drawn face, mutation, deformed, blurry, dehydrated, bad anatomy, bad proportions, extra limbs, cloned face, disfigured, gross proportions, malformed limbs, missing arms, missing legs, extra arms, extra legs, fused fingers, too many fingers, long neck

正面提示词

利用chatGPT生成正面提示词的方法，将下面这段描述发给GPT-4即可

以下提示用于指导Al绘画模型创建图像。它们包括人物外观、背景、颜色和光影效果，以及图像的主题和风格等各种细节。这些提示的格式通常包括带权重的数字括号，用于指定某些细节的重要性或强调。例如，"(masterpiece:1.4)"表示作品的质量非常重要。以下是一些示例： 1.(8k, RAW photo, best quality, masterpiece:1.2),(realistic, photo-realistic:1.37), ultra-detailed, 1girl, cute, solo, beautiful detailed sky, detailed cafe, night, sitting, dating, (nose blush), (smile:1.1),(closed mouth), medium breasts, beautiful detailed eyes, (collared shirt:1.1), bowtie, pleated skirt, (short hair:1.2), floating hair, ((masterpiece)), ((best quality)), 2.(masterpiece, finely detailed beautiful eyes: 1.2), ultra-detailed, illustration, 1 girl, blue hair black hair, japanese clothes, cherry blossoms, tori, street full of cherry blossoms, detailed background, realistic, volumetric light, sunbeam, light rays, sky, cloud, 3.highres, highest quallity, illustration, cinematic light, ultra detailed, detailed face, (detailed eyes, best quality, hyper detailed, masterpiece, (detailed face), blue hairlwhite hair, purple eyes, highest details, luminous eyes, medium breats, black halo, white clothes, backlighting, (midriff:1.4), light rays, (high contrast), (colorful). 仿照之前的提示，写一段描写如下要素的提示：车水马龙的城市

image.png

写在最后

感兴趣的小伙伴，赠送全套AIGC学习资料，包含AI绘画、AI人工智能等前沿科技教程和软件工具，具体看这里。
​

AIGC技术的未来发展前景广阔，随着人工智能技术的不断发展，AIGC技术也将不断提高。未来，AIGC技术将在游戏和计算领域得到更广泛的应用，使游戏和计算系统具有更高效、更智能、更灵活的特性。同时，AIGC技术也将与人工智能技术紧密结合，在更多的领域得到广泛应用，对程序员来说影响至关重要。未来，AIGC技术将继续得到提高，同时也将与人工智能技术紧密结合，在更多的领域得到广泛应用。
 
在这里插入图片描述

一、AIGC所有方向的学习路线

AIGC所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照下面的知识点去找对应的学习资源，保证自己学得较为全面。

在这里插入图片描述

在这里插入图片描述

二、AIGC必备工具

工具都帮大家整理好了，安装就可直接上手！
在这里插入图片描述

三、最新AIGC学习笔记

当我学到一定基础，有自己的理解能力的时候，会去阅读一些前辈整理的书籍或者手写的笔记资料，这些笔记详细记载了他们对一些技术点的理解，这些理解是比较独到，可以学到不一样的思路。
在这里插入图片描述
在这里插入图片描述

四、AIGC视频教程合集

观看全面零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

在这里插入图片描述

五、实战案例

纸上得来终觉浅，要学会跟着视频一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。
在这里插入图片描述
​

相关文章：

  • 41-Vue-webpack基础
  • 6、kubenetes 卷
  • RAFT：让大型语言模型更擅长特定领域的 RAG 任务
  • nodejs的线程模型和libuv库的基本使用
  • Swagger3探索之游龙入海
  • golang kafka sarama 源码解析
  • 基于SpringBoot后端实现连接MySQL数据库并存贮数据
  • Linux 在线yum安装： PostgreSQL 15.6数据库
  • 【Leetcode】单链表常见题
  • 蓝桥杯练习题总结（三）线性dp题（摆花、数字三角形加强版）
  • Gitlab的流水线任务【实现每小时自动测试 dev分支的更新】
  • 大数据Hadoop生态圈体系视频课程
  • uniapp自定义导航栏左中右内容和图标，以及点击事件
  • 【Docker】Docker资源(创建容器)CPU/内存/磁盘IO/GPU限制与分配教程
  • IOS面试题编程机制 6-10
  • 深入了解以太坊
  • 《Java8实战》-第四章读书笔记（引入流Stream）
  • 08.Android之View事件问题
  • 5分钟即可掌握的前端高效利器：JavaScript 策略模式
  • canvas 五子棋游戏
  • go append函数以及写入
  • JDK 6和JDK 7中的substring（）方法
  • leetcode讲解--894. All Possible Full Binary Trees
  • overflow: hidden IE7无效
  • PHP面试之三：MySQL数据库
  • Vue 动态创建 component
  • Vue实战(四)登录/注册页的实现
  • Work@Alibaba 阿里巴巴的企业应用构建之路
  • 阿里中间件开源组件：Sentinel 0.2.0正式发布
  • 从伪并行的 Python 多线程说起
  • 等保2.0 | 几维安全发布等保检测、等保加固专版 加速企业等保合规
  • 仿天猫超市收藏抛物线动画工具库
  • 类orAPI - 收藏集 - 掘金
  • 一个完整Java Web项目背后的密码
  • 移动端解决方案学习记录
  • 蚂蚁金服CTO程立：真正的技术革命才刚刚开始
  • 没有任何编程基础可以直接学习python语言吗？学会后能够做什么？ ...
  • 昨天1024程序员节，我故意写了个死循环~
  • #laravel 通过手动安装依赖PHPExcel#
  • #LLM入门|Prompt#1.8_聊天机器人_Chatbot
  • （12）目标检测_SSD基于pytorch搭建代码
  • （AtCoder Beginner Contest 340） -- F - S = 1 -- 题解
  • （Matalb回归预测）PSO-BP粒子群算法优化BP神经网络的多维回归预测
  • (办公)springboot配置aop处理请求.
  • (附源码)springboot课程在线考试系统 毕业设计 655127
  • （剑指Offer）面试题34：丑数
  • （九）信息融合方式简介
  • （十） 初识 Docker file
  • .Net Memory Profiler的使用举例
  • .Net 代码性能 - (1)
  • .NET建议使用的大小写命名原则
  • .net快速开发框架源码分享
  • .net连接MySQL的方法
  • .net网站发布－允许更新此预编译站点
  • .pyc文件是什么？