当前位置：首页 > news >正文

使用docker swarm搭建ruoyi集群环境

news 来源：原创 2024/9/20 9:34:28

整体目标

项目背景

领导给到了我一个客户，客户商业模式为成本制作，成本核算。其中涉及到大量涉密数据，且与我们现有产品几乎没有兼容点（我们是一套低代码的框架，客户有很多业务二开）

测试环境给到了我6台业务机器，起初其中4台作为业务服务器，一台作为中间件，一台作为mysql。

6台机器均使用私有云部署，配置均为4c8G。

技术选型

直白的讲，物理器部署资源有限。

框架选型

开源框架：选型是ruoyi微服务框架，原因：开源免费，明星star项目，社区活跃，技术相对主流，自己也熟悉。

技术架构图

这是官方的架构图
在这里插入图片描述

系统架构图

这是我结合我们的系统画的整体系统架构图
在这里插入图片描述

部署选型

部署方式：因为微服务框架和有限的物理机，我必然是选择集群部署的。市面上相对主流的集群部署毋庸置疑是k8s，但是作为一个之前只是后端的开发人员，在没有人指导的情况下，且有期返时间内，部署生产环境集群着实有点为难了。

K8S与docker swarm的横向对比

比较维度	Docker Swarm	Kubernetes (k8s)
优点	简单易用	功能强大
	与 Docker 集成紧密	高度扩展性
	快速部署	广泛社区支持
	轻量级	多云支持
缺点	功能相对有限	学习曲线陡峭
	扩展性差	资源消耗大
	社区和生态较少	部署复杂
适用场景	中小型项目	大规模项目
	简单应用	复杂应用
	初学者	跨云部署
学习成本	低	高
	快速上手	深入掌握需要时间
拓展性	低	高
	有限插件和工具	丰富的插件和工具
社区完善度	较小	庞大
	支持较少	丰富的第三方支持

额外提一句：现实中，我们往往以结果为导向。虽然k8s不管是从扩展性，社区活跃度都远远超过docker swarm，但奈何学习成本高，我对于初学者不够友好（PS：国内好多站点被封了，之前用kubeadm部署，刷机后又没有资源站点了）。

学习东西是一个渐进的过程，阶段性的交付和成功，会给自己带来快乐。而一下子上来最难的，只能带来无穷的挫败和自我怀疑，最终陷入无限期的搁置（PS：难度因人而异）

docker swarm 介绍

Docker Swarm 是 Docker 提供的原生容器编排工具。它允许用户将多个 Docker 主机组合在一起，形成一个虚拟的 Docker 集群，并在这个集群上管理和部署容器。Swarm 使得用户可以通过熟悉的 Docker 命令和工具管理大规模的 Docker 容器部署。

部署方式就是一个master节点，其他worker节点加入。管理的最小单位是service，可以使用类似docker-compose的文件进行管理service。同时有多个stack，进行一组service的管理。

部署架构图

这是整体多机网络部署架构图
在这里插入图片描述

基于Redhat构建docker、docker-compose

repo配置

在这里插入图片描述

配置文件如下：

# CentOS-Base.repo
#
# The mirror system uses the connecting IP address of the client and the
# update status of each mirror to pick mirrors that are updated to and
# geographically close to the client.  You should use this for CentOS updates
# unless you are manually picking other mirrors.
#
# If the #mirrorlist= does not work for you, as a fall back you can try the 
# remarked out baseurl= line instead.
#
#[base]
name=CentOS-$releasever - Base - mirrors.aliyun.com
#failovermethod=priority
baseurl=http://mirrors.aliyun.com/centos/$releasever/BaseOS/$basearch/os/http://mirrors.aliyuncs.com/centos/$releasever/BaseOS/$basearch/os/http://mirrors.cloud.aliyuncs.com/centos/$releasever/BaseOS/$basearch/os/
gpgcheck=1
gpgkey=http://mirrors.aliyun.com/centos/RPM-GPG-KEY-CentOS-Official#additional packages that may be useful
[extras]
name=CentOS-$releasever - Extras - mirrors.aliyun.com
#failovermethod=priority
baseurl=http://mirrors.aliyun.com/centos/$releasever/extras/$basearch/os/http://mirrors.aliyuncs.com/centos/$releasever/extras/$basearch/os/http://mirrors.cloud.aliyuncs.com/centos/$releasever/extras/$basearch/os/
gpgcheck=1
gpgkey=http://mirrors.aliyun.com/centos/RPM-GPG-KEY-CentOS-Official#additional packages that extend functionality of existing packages
[centosplus]
name=CentOS-$releasever - Plus - mirrors.aliyun.com
#failovermethod=priority
baseurl=http://mirrors.aliyun.com/centos/$releasever/centosplus/$basearch/os/http://mirrors.aliyuncs.com/centos/$releasever/centosplus/$basearch/os/http://mirrors.cloud.aliyuncs.com/centos/$releasever/centosplus/$basearch/os/
gpgcheck=1
enabled=0
gpgkey=http://mirrors.aliyun.com/centos/RPM-GPG-KEY-CentOS-Official[PowerTools]
name=CentOS-$releasever - PowerTools - mirrors.aliyun.com
#failovermethod=priority
baseurl=http://mirrors.aliyun.com/centos/$releasever/PowerTools/$basearch/os/http://mirrors.aliyuncs.com/centos/$releasever/PowerTools/$basearch/os/http://mirrors.cloud.aliyuncs.com/centos/$releasever/PowerTools/$basearch/os/
gpgcheck=1
enabled=0
gpgkey=http://mirrors.aliyun.com/centos/RPM-GPG-KEY-CentOS-Official[AppStream]
name=CentOS-$releasever - AppStream - mirrors.aliyun.com
#failovermethod=priority
baseurl=http://mirrors.aliyun.com/centos/$releasever/AppStream/$basearch/os/http://mirrors.aliyuncs.com/centos/$releasever/AppStream/$basearch/os/http://mirrors.cloud.aliyuncs.com/centos/$releasever/AppStream/$basearch/os/
gpgcheck=1
gpgkey=http://mirrors.aliyun.com/centos/RPM-GPG-KEY-CentOS-Official

[docker-ce-stable]
name=Docker CE Stable - $basearch
baseurl=https://mirrors.aliyun.com/docker-ce/linux/rhel/$releasever/$basearch/stable
enabled=1
gpgcheck=1
gpgkey=https://mirrors.aliyun.com/docker-ce/linux/rhel/gpg[docker-ce-stable-debuginfo]
name=Docker CE Stable - Debuginfo $basearch
baseurl=https://mirrors.aliyun.com/docker-ce/linux/rhel/$releasever/debug-$basearch/stable
enabled=0
gpgcheck=1
gpgkey=https://mirrors.aliyun.com/docker-ce/linux/rhel/gpg[docker-ce-stable-source]
name=Docker CE Stable - Sources
baseurl=https://mirrors.aliyun.com/docker-ce/linux/rhel/$releasever/source/stable
enabled=0
gpgcheck=1
gpgkey=https://mirrors.aliyun.com/docker-ce/linux/rhel/gpg[docker-ce-test]
name=Docker CE Test - $basearch
baseurl=https://mirrors.aliyun.com/docker-ce/linux/rhel/$releasever/$basearch/test
enabled=0
gpgcheck=1
gpgkey=https://mirrors.aliyun.com/docker-ce/linux/rhel/gpg[docker-ce-test-debuginfo]
name=Docker CE Test - Debuginfo $basearch
baseurl=https://mirrors.aliyun.com/docker-ce/linux/rhel/$releasever/debug-$basearch/test
enabled=0
gpgcheck=1
gpgkey=https://mirrors.aliyun.com/docker-ce/linux/rhel/gpg[docker-ce-test-source]
name=Docker CE Test - Sources
baseurl=https://mirrors.aliyun.com/docker-ce/linux/rhel/$releasever/source/test
enabled=0
gpgcheck=1
gpgkey=https://mirrors.aliyun.com/docker-ce/linux/rhel/gpg[docker-ce-nightly]
name=Docker CE Nightly - $basearch
baseurl=https://mirrors.aliyun.com/docker-ce/linux/rhel/$releasever/$basearch/nightly
enabled=0
gpgcheck=1
gpgkey=https://mirrors.aliyun.com/docker-ce/linux/rhel/gpg[docker-ce-nightly-debuginfo]
name=Docker CE Nightly - Debuginfo $basearch
baseurl=https://mirrors.aliyun.com/docker-ce/linux/rhel/$releasever/debug-$basearch/nightly
enabled=0
gpgcheck=1
gpgkey=https://mirrors.aliyun.com/docker-ce/linux/rhel/gpg[docker-ce-nightly-source]
name=Docker CE Nightly - Sources
baseurl=https://mirrors.aliyun.com/docker-ce/linux/rhel/$releasever/source/nightly
enabled=0
gpgcheck=1
gpgkey=https://mirrors.aliyun.com/docker-ce/linux/rhel/gpg

redhat因为客户买的没有注册所以他的资源文件是空的

阿里云镜像

这个因为一些image在国外，配置一下阿里云镜像会拉取快很多

具体路径 https://cr.console.aliyun.com/cn-hangzhou/instances/mirrors
按照上面的配置就可以

在这里插入图片描述

部署操作

docker

sudo yum install -y yum-utils

sudo yum install docker-ce docker-ce-cli containerd.io

sudo systemctl start docker

sudo systemctl enable docker

docker-compose

sudo curl -L “https://github.com/docker/compose/releases/download/v2.x.x/docker-compose- $(u nam e - s) -$ (uname -m)” -o /usr/local/bin/docker-compose

sudo chmod +x /usr/local/bin/docker-compose

docker-compose --version

docker swarm 初始化

docker swarm init

正常情况下，会出现token，如果你没有记录，也可以在manage节点

docker swarm join-token worker

查看对应的swarm的manage的token
在这里插入图片描述

然后再worker节点上直接直接join就可以了

然后整体的一个node结构如下

在这里插入图片描述

这里我还对hostname做了修改

overlay 网络构建

十分重要

docker network create --driver overlay --subnet=10.10.0.0/24 --gateway=10.10.0.1 sangfor-network

docker中的网络是最为复杂的，同时因为我是跨机之间的网络通讯，这里使用了overlay的配置

然后再整个stack配置文件中，我使用了external: true，使用外部网络

网络查看

正常来说当你构建完成一个service的构建之后，你要查看这个网络
docker network inspect sangfor-network
在这里插入图片描述

这里面会体现出你的container和对应的ip

需要注意是，当你的使用overlay网络的时候，如果你的某台woker机器上并没有service，那么这个overlay网络是不显示的

同时需要明确的是，查看网络中的container 只有当前机器的container才会显示

yml配置优先网段

需要明确的是，docker container内的网卡是有很多个的，他是哪个可以用就用哪个

所以这里需要结合程序的修改，就是这个preferred-networks，我写了10.10.0网段
在这里插入图片描述

通过这种方式，使得container的ip优先使用这个10.10.0网段

docker-stack部署

这里直接贴我两个的stack文件吧

docker-stack-basic.yml

version : '3.8'
services:cloud-mysql:image: mysql:5.7ports:- "3306:3306"volumes:- /data/cloud/mysql/conf:/etc/mysql/conf.d- ./mysql/logs:/logs- ./mysql/data:/var/lib/mysql- /etc/localtime:/etc/localtime:rocommand: ['mysqld','--innodb-buffer-pool-size=80M','--character-set-server=utf8mb4','--collation-server=utf8mb4_unicode_ci','--default-time-zone=+8:00','--lower-case-table-names=1','--default-authentication-plugin=mysql_native_password']environment:MYSQL_DATABASE: 'cloud_business'MYSQL_ROOT_PASSWORD: 'yourpassword'TZ: 'Asia/Shanghai'networks:- sangfor-networkdeploy:placement:constraints:- node.labels.mysql == truecloud-redis:container_name: cloud-redisimage: redisbuild:context: ./redisports:- "6379:6379"volumes:- ./redis/conf/redis.conf:/home/ruoyi/redis/redis.conf- ./redis/data:/datacommand: redis-server /home/ruoyi/redis/redis.confenvironment:- TZ=Asia/Shanghainetworks:- sangfor-networkdeploy:placement:constraints:- node.labels.middle == truenetworks:sangfor-network:external: true

docker-stack-sangfor.yml

version : '3.8'
services:cloud-portainer:image: portainer/portainer-ce:latestenvironment:- TZ=Asia/Shanghaivolumes:- ./portainer/data/:/data- /var/run/docker.sock:/var/run/docker.sockports:- "9000:9000"deploy:placement:constraints:- node.labels.portainer == trueresources:limits:cpus: '0.50'memory: 500Mnetworks:- sangfor-networkcloud-nacos:image: nacos/nacos-serverbuild:context: ./nacosenvironment:- MODE=standalone- TZ=Asia/Shanghaivolumes:- ./nacos/logs/:/home/nacos/logs- ./nacos/conf/application.properties:/home/nacos/conf/application.properties- /etc/localtime:/etc/localtime:roports:- "8848:8848"- "9848:9848"- "9849:9849"healthcheck:test: ["CMD", "curl", "-f", "http://localhost:8848/nacos/v1/console/health/liveness"]interval: 30stimeout: 10sretries: 5networks:- sangfor-networkdeploy:placement:constraints:- node.labels.middle == truecloud-nginx:image: nginx:1.0ports:- "80:80"volumes:- ./nginx/html/dist:/home/cloud/projects/cloud-ui- ./nginx/conf/nginx.conf:/etc/nginx/nginx.conf- ./nginx/logs:/var/log/nginx- ./nginx/conf.d:/etc/nginx/conf.denvironment:- TZ=Asia/Shanghainetworks:- sangfor-networkdeploy:placement:constraints:- node.labels.master == truecloud-gateway:image: registry.cn-hangzhou.aliyuncs.com/sangfor_authine/cloud_gateway:1.0ports:- "8080:8080"environment:TZ: Asia/Shanghaideploy:placement:constraints:- node.labels.master == truenetworks:- sangfor-networkcloud-auth:image: registry.cn-hangzhou.aliyuncs.com/sangfor_authine/cloud_auth:1.0ports:- "9200:9200"environment:- TZ=Asia/Shanghainetworks:- sangfor-networkcloud-modules-system:image: registry.cn-hangzhou.aliyuncs.com/sangfor_authine/cloud_system:1.0ports:- "9201:9201"environment:- TZ=Asia/Shanghainetworks:- sangfor-networkcloud-modules-gen:image: registry.cn-hangzhou.aliyuncs.com/sangfor_authine/cloud_gen:1.0ports:- "9202:9202"environment:- TZ=Asia/Shanghainetworks:- sangfor-networkcloud-modules-job:image: registry.cn-hangzhou.aliyuncs.com/sangfor_authine/cloud_job:1.0ports:- "9203:9203"environment:- TZ=Asia/Shanghainetworks:- sangfor-networkcloud-modules-file:image: registry.cn-hangzhou.aliyuncs.com/sangfor_authine/cloud_file:1.0ports:- "9300:9300"environment:- TZ=Asia/Shanghaivolumes:- ./cloud/uploadPath:/home/cloud/uploadPathnetworks:- sangfor-networkcloud-visual-monitor:image: registry.cn-hangzhou.aliyuncs.com/sangfor_authine/cloud_monitor:1.0ports:- "9100:9100"environment:- TZ=Asia/Shanghainetworks:- sangfor-networknetworks:sangfor-network:external: true