当前位置： 首页 > news >正文

Jenkins+Gitlab持续集成综合实战

news 来源：原创 2024/9/19 20:26:04

一、持续集成应用背景：

DevOps：（英文Development（开发）和Operations（技术运营）的组合）是一组过程、方法与系统的统称，用于促进开发（应用程序/软件工程）、技术运营和质量保障（QA）部门之间的沟通、协作与整合。它的出现是由于软件行业日益清晰地认识到：为了按时交付软件产品和服务，开发和运营工作必须紧密合作；

应用背景：

一个开发单打独斗，撸代码，开发网站，自由自在；

多个开发同时开发一个网站，同时改一份代码。但是同时改一个文件会导致冲突；

采用分支结构，每天上班第一件事克隆代码，下班前最后一件事合并代码；

好景不长，开发越来越多，代码文件越来越多。每天下班前合并代码时，发现很多合并失败的文件。最后每天加班3小时人工合并代码；

解决方法：将代码合并的周期缩短，以前一天，现在一小时，半小时；

随时随地将代码合并，这种方法叫做持续集成；

理解持续集成、持续交付、持续部署：https://blog.csdn.net/kone0611/article/details/78534886

二、持续集成概述：

概述：持续集成（Continuous integration，简称CI），一种软件开发实践，即团队开发成员经常集成他们的工作，通过每个成员每天至少集成一次，也就意味着每天可能会发生多次集成。每次集成都通过自动化的构建（包括编译，发布，自动化测试）来验证，从而尽早地发现集成错误；

理解jenkins持续集成：https://www.cnblogs.com/liyuanhong/p/6548925.html

持续集成要素：

  1.统一的代码库；

  2.自动构建；

  3.自动测试；

  4.每个人每天都要向代码库主干提交代码；

  5.每次代码递交后都会在持续集成服务器上触发一次构建；

  6.保证快速构建；

  7.模拟生产环境的自动测试；

  8.每个人都可以很容易的获取最新可执行的应用程序；

  9.每个人都清楚正在发生的状况；

  10.自动化的部署；

三、持续交付概述：

概述：持续交付（Continuous delivery，简称CD），指的是：频繁地将软件的新版本，交付给质量团队或者用户，以供评审。如果评审通过，代码就进入生产阶段；持续交付可以看作持续集成的下一步。它强调的是，不管怎么更新，软件是随时随地可以交付的；

代码测试通过了，该到生产环境部署了，部署时要么成功，要么失败回滚；

四、持续部署概述：

概述：持续部署（Continuous Deployment，缩写为 CD）是持续交付的下一步，指的是代码通过评审以后，自动部署到生产环境；持续部署的目标是，代码在任何时刻都是可部署的，可以进入生产阶段；

五、Jenkins概述：

概述：Jenkins是一个用Java编写的开源的持续集成工具，Jenkins提供了软件开发的持续集成服务。它运行在Servlet容器中（例如Apache Tomcat）。它支持软件配置管理（SCM）工具（包括AccuRev SCM、CVS、Subversion、Git、Perforce、Clearcase和RTC），可以执行基于Apache Ant和Apache Maven的项目，以及任意的Shell脚本和Windows批处理命令；

Jenkins目的： 

  1.持续、自动地构建/测试软件项目；

  2.监控软件开放流程，快速问题定位及处理，提示开放效率；

特性：

开源的java语言开发持续集成工具，支持CI，CD；

易于安装部署配置：可通过yum安装,或下载war包以及通过docker容器等快速实现安装部署，可方便web界面配置管理；

消息通知及测试报告：集成RSS/E-mail通过RSS发布构建结果或当构建完成时通过e-mail通知，生成JUnit/TestNG测试报告；

分布式构建：支持Jenkins能够让多台计算机一起构建/测试。

文件识别：Jenkins能够跟踪哪次构建生成哪些jar，哪次构建使用哪个版本的jar等；

丰富的插件支持：支持扩展插件，你可以开发适合自己团队使用的工具，如git，svn，maven，docker等；

产品发布流程：

产品设计成型 -> 开发人员开发代码 -> 测试人员测试功能 -> 运维人员发布上线

六、案例：部署Jenkins持续集成；

案例环境：

系统类型

IP地址

主机名

所需软件

内存

Centos 7.4 1708 64bit

192.168.100.101

jenkins.linuxfan.cn

jdk-8u171-linux-x64.tar.gz

apache-tomcat-9.0.10.tar.gz

jenkins.war

apache-maven-3.5.4-bin.tar.gz

git

gitlab-ce

4G

Centos 7.4 1708 64bit

192.168.100.102

http.linuxfan.cn

httpd

1G

组件作用：

Maven的作用：Maven负责java语言的编译和打包换个角度来说，Maven相当于Java中的make命令，同类型的工具有Ant，但是Ant不提供解决依赖关系的功能，如若上传nginx等html的文件则不需要maven程序；

JENKINS的作用：通过git或者svn等命令从仓库中拉取源码，让maven进行编译并打包，把打好的包发送到目标主机，执行部署脚本，自动触发构建操作；

Gitlab的作用：Gitlab用来做开发人员通过git提交的代码存放的仓库进行管理；

案例步骤：

  • 安装Gitlab程序：
  • 配置并启动Gitlab程序：
  • 通过web页面配置Gitlab程序：
  • 通过web页面创建Gitlab项目：
  • 通过git命令测试下载Gitlab中的项目代码及测试上传项目代码：
  • 访问Gitlab的web页面验证上传的项目代码：

  • 安装部署jdk环境：
  • 安装部署apache-maven框架：

  • 安装部署jenkins程序（四种方式，在此使用第三种基于tomcat安装）：
  • 配置jenkins的web页面：
  • 设置jenkins的环境变量与允许用户注册：
  • 设置jenkins中的jdk的位置和maven的位置：

  • 创建Jenkins任务：
  • 构建任务完成后，构建触发任务，查看Jenkins是够能够成功连接到Gitlab：
  • 模拟测试发布网站代码文件到gitlab，然后构建到Jenkins：
  • 安装测试服务器上的httpd服务并且在jinkens主机上配置秘钥对，实现能远程到httpd服务：
  • 配置jenkins程序构建任务推送网页文件到httpd服务器上：
  • 验证httpd服务器的文件推送情况，客户端访问测试：

  • 安装Gitlab程序：
[root@jenkins ~]# wget https://packages.gitlab.com/install/repositories/gitlab/gitlab-ce/script.rpm.sh[root@jenkins ~]# chmod +x script.rpm.sh[root@jenkins ~]# ./script.rpm.shThe repository is setup! You can now install packages.有本地缓存的yum源最好啦[root@jenkins ~]# yum install -y gitlab-ce

  • 配置并启动Gitlab程序：
[root@jenkins ~]# vi /etc/gitlab/gitlab.rb13 external_url 'http://192.168.100.101':wq[root@jenkins ~]# gitlab-ctl reconfigure ##加载配置文件，每次修改后都需要Running handlers:Running handlers completeChef Client finished, 435/620 resources updated in 02 minutes 29 secondsgitlab Reconfigured![root@jenkins ~]# gitlab-ctl startok: run: alertmanager: (pid 13861) 17sok: run: gitaly: (pid 13787) 19sok: run: gitlab-monitor: (pid 13807) 19sok: run: gitlab-workhorse: (pid 13770) 20sok: run: logrotate: (pid 13360) 99sok: run: nginx: (pid 13345) 105sok: run: node-exporter: (pid 13457) 82sok: run: postgres-exporter: (pid 13885) 16sok: run: postgresql: (pid 13055) 146sok: run: prometheus: (pid 13842) 17sok: run: redis: (pid 12980) 152sok: run: redis-exporter: (pid 13618) 65sok: run: sidekiq: (pid 13307) 114sok: run: unicorn: (pid 13263) 120s[root@jenkins ~]# netstat -utplnActive Internet connections (only servers)Proto Recv-Q Send-Q Local Address           Foreign Address         State       PID/Program name    tcp        0      0 127.0.0.1:9100          0.0.0.0:*               LISTEN      2628/node_exporter  tcp        0      0 127.0.0.1:9229          0.0.0.0:*               LISTEN      3056/gitlab-workhortcp        0      0 127.0.0.1:9168          0.0.0.0:*               LISTEN      3102/ruby           tcp        0      0 127.0.0.1:8080          0.0.0.0:*               LISTEN      2481/unicorn mastertcp        0      0 0.0.0.0:80              0.0.0.0:*               LISTEN      2536/nginx: master  tcp        0      0 127.0.0.1:8082          0.0.0.0:*               LISTEN      2502/sidekiq 5.1.3  tcp        0      0 127.0.0.1:9236          0.0.0.0:*               LISTEN      3072/gitaly         tcp        0      0 0.0.0.0:22              0.0.0.0:*               LISTEN      813/sshd            tcp        0      0 127.0.0.1:25            0.0.0.0:*               LISTEN      968/master          tcp        0      0 0.0.0.0:8060            0.0.0.0:*               LISTEN      2536/nginx: master  tcp        0      0 127.0.0.1:9121          0.0.0.0:*               LISTEN      2739/redis_exportertcp        0      0 127.0.0.1:9090          0.0.0.0:*               LISTEN      3117/prometheus     tcp        0      0 127.0.0.1:9187          0.0.0.0:*               LISTEN      3156/postgres_exportcp        0      0 127.0.0.1:9093          0.0.0.0:*               LISTEN      3129/alertmanager   tcp        0      0 0.0.0.0:9094            0.0.0.0:*               LISTEN      3129/alertmanager   udp        0      0 0.0.0.0:9094            0.0.0.0:*                           3129/alertmanager[root@jenkins ~]# chmod -R 755 /var/log/gitlab[root@jenkins ~]# yum -y install git[root@jenkins ~]# git config --global user.name "linuxfan"[root@jenkins ~]# git config --global user.email admin@linuxfan.cn[root@jenkins ~]# mkdir /opt/linuxfan[root@jenkins ~]# cd /opt/linuxfan[root@jenkins linuxfan]# git init初始化空的 Git 版本库于 /opt/linuxfan/.git/[root@jenkins linuxfan]# ssh-keygen  -t rsa -C admin@linuxfan.cn[root@jenkins linuxfan]# cat /root/.ssh/id_rsa.pubssh-rsa AAAAB3NzaC1yc2EAAAADAQABAAABAQDauS+Tnzq4FFole83uuSOt9iURbq0blLlSBp1dzXbS3re26o5idURw+SLFCc5BUp0Pd78I+Awtxtm1Nz58KAinATgmv5ImTN6yMSF99QTSR0ut/c8mIjm4cMHphGUIZgIplnCC5IwkbIcvQiHhkDzzn6YK/63Rp9hc3HyaGmMneDmxAhZglOeuno6i7i2hyNerKrDHlCaNPYx11u4KQ1J1wi9KGl1JL+FifTwQEtvWFgQE8HtkrslJsFwhzVrTi7Bv5d5U/GpnKn/7Fln0qPKNoWdl4MR/iD6zdZ8a5yDW+QK9ciiViKO0EzD3slWHxrq/evjPuTg6GRLtdKzVQAQL admin@linuxfan.cn
  • 通过web页面配置Gitlab程序：

  • 通过web页面创建Gitlab项目：

  • 通过git命令测试下载Gitlab中的项目代码及测试上传项目代码：
[root@jenkins linuxfan]# git clone http://192.168.100.101/linuxfan/linuxfan.git正克隆到 'linuxfan'...remote: Enumerating objects: 3, done.remote: Counting objects: 100% (3/3), done.remote: Total 3 (delta 0), reused 0 (delta 0)Unpacking objects: 100% (3/3), done.[root@jenkins linuxfan]# lslinuxfan[root@jenkins linuxfan]# ls linuxfan/www.linuxfan.cn[root@jenkins linuxfan]# rm -rf linuxfan/或者[root@jenkins ~]# git clone git@192.168.100.101:linuxfan/linuxfan.git ##下载项目linuxfan正克隆到 'linuxfan'...remote: Enumerating objects: 3, done.remote: Counting objects: 100% (3/3), done.remote: Total 3 (delta 0), reused 0 (delta 0)接收对象中: 100% (3/3), done.[root@jenkins linuxfan]# cat linuxfan/www.linuxfan.cn ##查看项目下载后的代码www.linuxfan.cn[root@jenkins linuxfan]# cd linuxfan/ ##切换到项目目录中[root@jenkins linuxfan]# pwd/opt/linuxfan/linuxfan[root@jenkins linuxfan]# touch haha.txt ##创建测试代码文件[root@jenkins linuxfan]# git add haha.txt[root@jenkins linuxfan]# git commit -m "haha.txt" ##将测试代码文件提交到git版本库中[master ee68b76] haha.txt1 file changed, 0 insertions(+), 0 deletions(-)create mode 100644 haha.txt[root@jenkins linuxfan]# git remote add origin git@192.168.100.101:linuxfan ##创建远程的gitlab版本库，名称为origin[root@jenkins linuxfan]# git push ##将git版本库中的文件上传到gitlabCounting objects: 4, done.Compressing objects: 100% (2/2), done.Writing objects: 100% (3/3), 268 bytes | 0 bytes/s, done.Total 3 (delta 0), reused 0 (delta 0)To git@192.168.100.101:linuxfan/linuxfan.gitbc0010d..ee68b76  master -> master
  • 访问Gitlab的web页面验证上传的项目代码：

  • 安装部署jdk环境：
[root@jenkins ~]# tar zxvf jdk-8u171-linux-x64.tar.gz[root@jenkins ~]# mv jdk1.8.0_171 /usr/local/java/[root@jenkins ~]# vi /etc/profileexport JAVA_HOME=/usr/local/javaexport PATH=$PATH:$MAVEN_HOME/bin:$JAVA_HOME/binexport JRE_HOME=$JAVA_HOME/jreexport CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib:wq[root@jenkins ~]# source /etc/profile[root@jenkins ~]# java -versionjava version "1.8.0_171"Java(TM) SE Runtime Environment (build 1.8.0_171-b11)Java HotSpot(TM) 64-Bit Server VM (build 25.171-b11, mixed mode)

  • 安装部署apache-maven框架：
[root@jenkins ~]# wget http://mirror.bit.edu.cn/apache/maven/maven-3/3.5.4/binaries/apache-maven-3.5.4-bin.tar.gz[root@jenkins ~]# tar zxvf apache-maven-3.5.4-bin.tar.gz[root@jenkins ~]# mv apache-maven-3.5.4 /usr/local/maven[root@jenkins ~]# ls /usr/local/mavenbin  boot  conf  lib  LICENSE  NOTICE  README.txt[root@jenkins ~]# ln -s /usr/local/maven/bin/* /usr/bin/[root@jenkins ~]# vi /etc/profileexport MAVEN_HOME=/usr/local/mavenexport PATH=$PATH:$MAVEN_HOME/bin:wq[root@jenkins ~]# source /etc/profile

  • 安装部署jenkins程序（四种方式，在此使用第三种基于tomcat安装）：

1.离线安装：

[root@jenkins ~]# wget http://pkg.jenkins-ci.org/redhat/jenkins-2.39-1.1.noarch.rpm ## 下载(也可以Windows下载再传过来)[root@jenkins ~]# rpm --import http://pkg.jenkins-ci.org/redhat/jenkins.io.key[root@jenkins ~]# yum -y install jenkins-*.noarch.rpm

2.在线安装：

[root@jenkins ~]# wget -O /etc/yum.repos.d/jenkins.repo https://pkg.jenkins.io/redhat/jenkins.repo[root@jenkins ~]# rpm --import https://pkg.jenkins.io/redhat/jenkins.io.key[root@jenkins ~]# yum -y install jenkins

3.基于 Tomcat 安装：

[root@jenkins ~]# wget http://mirrors.jenkins.io/war-stable/latest/jenkins.war[root@jenkins ~]# tar zxvf apache-tomcat-9.0.10.tar.gz[root@jenkins ~]# mv apache-tomcat-9.0.10 /usr/local/tomcat[root@jenkins ~]# cp jenkins.war /usr/local/tomcat/webapps/[root@jenkins ~]# ls /usr/local/tomcat/webapps/jenkins.war ##上传jenkins.war包，tomcat自动识别/usr/local/tomcat/webapps/jenkins.war[root@jenkins ~]# vi /usr/local/tomcat/conf/server.xml69     <Connector port="8888" protocol="HTTP/1.1":wq[root@jenkins ~]# /usr/local/tomcat/bin/startup.sh[root@jenkins ~]# netstat -utpln |grep javatcp        0      0 0.0.0.0:8888            0.0.0.0:*               LISTEN      28027/java          tcp        0      0 127.0.0.1:8005          0.0.0.0:*               LISTEN      28027/java          tcp        0      0 0.0.0.0:8009            0.0.0.0:*               LISTEN      28027/java

发现浏览器安装jenkins卡在此处，通过以下方法解决；

[root@jenkins ~]# vi /root/.jenkins/hudson.model.UpdateCenter.xml5     <url>http://mirror.xmission.com/jenkins/updates/update-center.json</url>:wq[root@jenkins ~]# vi .jenkins/updates/default.json:%s/google/baidu/g将文件中的www.google.com替换成为www.baidu.com[root@jenkins ~]# /usr/local/tomcat/bin/shutdown.sh[root@jenkins ~]# /usr/local/tomcat/bin/startup.sh

再次刷新页面即可安装成功：

4.免安装方式：

[root@jenkins ~]# wget http://mirrors.jenkins.io/war-stable/latest/jenkins.war[root@jenkins ~]# java -jar jenkens.war ##启动服务，直至看到日志Jenkins is fully up and running[root@jenkins ~]# curl http://localhost:8080/ ##Jenkins已就绪

  • 配置jenkins的web页面进行安装：
[root@jenkins ~]# cat .jenkins/secrets/initialAdminPassword40e4323daf0e4717835df52068e66198

如若无法访问以下jenkins的主页，重启tomcat服务即可解决：

  • 设置jenkins的环境变量与允许用户注册：

  • 设置jenkins中的jdk的位置和maven的位置：

  • 创建Jenkins任务：

  • 构建任务完成后，构建触发任务，查看Jenkins是够能够成功连接到Gitlab：

  • 模拟测试发布网站代码文件到gitlab，然后构建到Jenkins：

[root@jenkins ~]# cd /opt/linuxfan/[root@jenkins ~]# rm -rf ./*[root@jenkins linuxfan]# git clone git@192.168.100.101:linuxfan/linuxfan.git正克隆到 'linuxfan'...remote: Enumerating objects: 9, done.remote: Counting objects: 100% (9/9), done.remote: Compressing objects: 100% (5/5), done.remote: Total 9 (delta 1), reused 0 (delta 0)接收对象中: 100% (9/9), done.处理 delta 中: 100% (1/1), done.[root@jenkins linuxfan]# lslinuxfan[root@jenkins linuxfan]# cd linuxfan/[root@jenkins linuxfan]# cat <<END >>index.htmlhaohaoxuexitiantianxiangshangEND[root@jenkins linuxfan]# git add index.html[root@jenkins linuxfan]# git commit -m "index.html"[master 9cf216f] index.html1 file changed, 2 insertions(+)create mode 100644 index.html[root@jenkins linuxfan]# git pushCounting objects: 4, done.Writing objects: 100% (3/3), 261 bytes | 0 bytes/s, done.Total 3 (delta 0), reused 0 (delta 0)To git@192.168.100.101:linuxfan/linuxfan.git04265b2..9cf216f  master -> master

  • 安装测试服务器上的httpd服务并且在jinkens主机上配置秘钥对，实现能远程到httpd服务：
[root@http ~]# yum -y install httpd[root@http ~]# systemctl start httpd[root@http ~]# rm -rf /var/www/html/*[root@jenkins linuxfan]# ssh-copy-id root@192.168.100.102[root@jenkins linuxfan]# ssh root@192.168.100.102Last login: Wed Sep 26 20:19:44 2018 from 192.168.100.1[root@http ~]# exit

  • 配置jenkins程序构建任务推送网页文件到httpd服务器上：

  • 验证httpd服务器的文件推送情况，客户端访问测试：

定时触发构建

构建触发器: 只选中 Build periodically, “日程表”格式与 crontab 相似但有细微差别，示例如下：

## 每行由 5 个值组成(空格或TAB分隔)，分别表示分(0-59)、时(0-23)、日(1-31)、月(1-12)、周(0-7, 0/7=周日)

## "M,N" 表示M和N；"M-N" 表示范围[M,N]；"M-N/X" 表示范围[M,N]内每隔X；"*/X" 表示整个范围内每隔X

## 前面提到的M/N/X的值都可以用H(意为Hash)代替，散列值起到随机值的效果，且同一项目取值稳定，这对于项目多时分散压力很有用。

H/10  H(0-8)  *  *  1-5   ## 触发时间: 工作日、Hour为0~8按哈希随机、Minute以10为间隔

H/10  H       *  *  0,6,7 ## 触发时间: 周末、Hour为全天按哈希随机、Minute以10为间隔

## “日程表”修改后，下方会给出下次执行时间点的预告。

相关文章：

  • 北京网站建设多少钱？
  • 辽宁网页制作哪家好_网站建设
  • 高端品牌网站建设_汉中网站制作
  • 基于HAL库的stm32的OLED显示屏显示（IIC）
  • 深入Mysql-03-MySQL 表的约束与数据库设计
  • c++笔记2
  • 黑马JavaWeb企业级开发（知识清单）01——前端介绍，HTML实现标题：排版
  • 【Jupyter Notebook】一文详细向您介绍 【重启内核】
  • AIX下编译静态库问题--笔记
  • Stage模型应用程序包结构
  • 基于SpringBoot的矩形范围面时空分析-以震中附近历史地震为例
  • ModuleNotFoundError: No module named ‘scrapy.utils.reqser‘
  • 20分钟上手新版Skywalking 9.x APM监控系统
  • 【工具】轻松转换JSON与Markdown表格——自制Obsidian插件
  • C#调用OpenCvSharp实现图像的角点检测
  • Leetcode—426. 将二叉搜索树转化为排序的双向链表【中等】Plus
  • 1394总线协议
  • Android Handler之消息同步屏障
  • [Vue CLI 3] 配置解析之 css.extract
  • [微信小程序] 使用ES6特性Class后出现编译异常
  • Android Volley源码解析
  • Brief introduction of how to 'Call, Apply and Bind'
  • docker-consul
  • Fastjson的基本使用方法大全
  • HTTP 简介
  • java2019面试题北京
  • JS笔记四：作用域、变量（函数）提升
  • js正则，这点儿就够用了
  • Redis学习笔记 - pipline（流水线、管道）
  • SAP云平台运行环境Cloud Foundry和Neo的区别
  • 回顾2016
  • 聊聊spring cloud的LoadBalancerAutoConfiguration
  • 浅谈web中前端模板引擎的使用
  • Java数据解析之JSON
  • 如何在招聘中考核.NET架构师
  • #ubuntu# #git# repository git config --global --add safe.directory
  • #数据结构 笔记三
  • $(this) 和 this 关键字在 jQuery 中有何不同？
  • （23）Linux的软硬连接
  • （3）nginx 配置(nginx.conf)
  • (delphi11最新学习资料) Object Pascal 学习笔记---第7章第3节（封装和窗体）
  • (delphi11最新学习资料) Object Pascal 学习笔记---第8章第5节（封闭类和Final方法）
  • （Java企业 / 公司项目）点赞业务系统设计-批量查询点赞状态（二）
  • （黑马出品_高级篇_01）SpringCloud+RabbitMQ+Docker+Redis+搜索+分布式
  • （七）c52学习之旅-中断
  • （四十一）大数据实战——spark的yarn模式生产环境部署
  • (五) 一起学 Unix 环境高级编程 (APUE) 之 进程环境
  • （一）utf8mb4_general_ci 和 utf8mb4_unicode_ci 适用排序和比较规则场景
  • (转)jQuery 基础
  • (转)Sql Server 保留几位小数的两种做法
  • (转)从零实现3D图像引擎：(8)参数化直线与3D平面函数库
  • （转载）跟我一起学习VIM - The Life Changing Editor
  • ./和../以及/和~之间的区别
  • .axf 转化 .bin文件 的方法
  • .NET C# 配置 Options
  • .NET CF命令行调试器MDbg入门（二） 设备模拟器
  • .net core使用ef 6
  • .NET MVC第五章、模型绑定获取表单数据