SpringCloud+Docker+Jenkins+GitLab+Maven实现自动化构建与部署实战

1、前言与初衷

本文章会涉及Docker常见命令基础知识点结合不同场景实操一起使用。

本文章会涉及结合工作过程中部署不同环境服务器的项目案例场景为初心进行实际细讲。

本文章主要讲述Docker、Jenkins、GitLab、Git、JDK、SpringBoot、Maven等技术结合实现自动化运维部署（DevOps）应用工程，适合SpringCloud部署。

初衷想法：在学习过程中遇到比较有趣的问题、然而花了点心血和时间去整理，然而进行梳理出来一份文章比较完整有知识体系的DevOps自动化构建与部署工程文章，技术知识内容比较多，而且文章内容较长，然而分了几个章程来讲述

2、什么是DevOps？

DevOps（Development和Operations的组合词）是一组过程、方法与系统的统称，用于促进开发（应用程序/软件工程）、技术运营和质量保障（QA）部门之间的沟通、协作与整合，它是一种重视“软件开发人员（Dev）”和“IT运维技术人员（Ops）”之间沟通合作的文化、运动或惯例。透过自动化“软件交付”和“架构变更”的流程，来使得构建、测试、发布软件能够更加地快捷、频繁和可靠。

它的出现是由于软件行业日益清晰地认识到：为了按时交付软件产品和服务，开发和运营工作必须紧密合作。

3 涉及软件环境搭建内容

  • 如何在Centos7安装JDK1.8-u121详解
  • 如何在Centos7安装Maven3.6.1详解
  • 如何在Centos7安装Git详解
  • 如何在CentOS7与Git配置免密码登陆详解
  • 如何在Docker安装GitLab详解
  • 如何在Docker创建NetWork网络详解
  • 如何在Docker安装Registry私服详解
  • 如何在Docker安装Jenkins详解

见附录

特别说明

图片

1、如何使用Maven结合Docker把SpringBoot应用编译成可用的镜像进行部署。

2、其中JDK和Maven是传统方式进行安装，由于本人Centos操作系统是有其他软件依赖它们，有时候传统方式安装软件会更好，这里不过多的阐述。有些软件在Docker安装过程与使用过程并没传统方式的简单，比如：Jenkins。

4、需要准备的工作有哪些

4.1 工程结构

  • 打开IDEA或Eclipse新建一个SpringBoot的应用.
图片
图片

环境配置特别说明

注意事项：其中Gitlab、Registry、Jenkins都安装在node1机器上面，也就是node1作为主机(master),node2作为slave（从机或副机），机器名起有意义或能区分即可，推荐起master和slave，这里就不作过多的阐述，为了避免看文章有疑问，请看清单列表.

图片

4.2、SpringBoot配置和代码详解

4.2.1工程的pom.xml配置
  • SpringBoot和 Docker 依赖的 jar 配置
<dependencies><!-- Springboot依赖的Jar包 --><dependency>    <groupId>org.springframework.boot</groupId>    <artifactId>spring-boot-starter</artifactId></dependency><dependency>    <groupId>org.springframework.boot</groupId>    <artifactId>spring-boot-starter-web</artifactId></dependency>

<!-- Springboot热部署jar--><dependency>    <groupId>org.springframework.boot</groupId>    <artifactId>spring-boot-devtools</artifactId>    <scope>runtime</scope>    <optional>true</optional></dependency>

<!--yml配置文件提示插件--><dependency>    <groupId>org.springframework.boot</groupId>    <artifactId>spring-boot-configuration-processor</artifactId>    <optional>true</optional></dependency>

<!-- spring-boot测试jar --><dependency>    <groupId>org.springframework.boot</groupId>    <artifactId>spring-boot-starter-test</artifactId>    <scope>test</scope></dependency>

    </dependencies>    <build>        <finalName>springboot</finalName>        <!-- 一定要声明如下配置 打包xml 到Jar包 -->        <!-- <resources>            <resource>                <directory>src/main/java</directory>                是否替换资源中的属性                <filtering>false</filtering>            </resource>        </resources>        <sourceDirectory>${project.basedir}/src/main/java</sourceDirectory>         -->        <plugins>            <plugin>                <groupId>org.apache.maven.plugins</groupId>                <artifactId>maven-compiler-plugin</artifactId>                <!-- 默认支持jdk1.8编译 -->                <configuration>                    <source>1.8</source>                    <target>1.8</target>                </configuration>            </plugin>            <plugin>                <groupId>org.springframework.boot</groupId>                <artifactId>spring-boot-maven-plugin</artifactId>                <executions>                    <execution>                        <goals>                            <goal>repackage</goal>                        </goals>                    </execution>                </executions>            </plugin><!--docke rmaven编译插件-->            <plugin>                <groupId>com.spotify</groupId>                <artifactId>docker-maven-plugin</artifactId>                <version>0.4.12</version>                <configuration>                    <dockerDirectory>${project.basedir}</dockerDirectory>                    <resources>                        <resource>                            <targetPath>/</targetPath>                            <directory>${project.build.directory}</directory>                            <include>${project.build.finalName}.jar</include>                        </resource>                    </resources>                </configuration>            </plugin>             <plugin>                <groupId>org.apache.maven.plugins</groupId>                <artifactId>maven-jar-plugin</artifactId>                <configuration>                    <archive>                        <manifest>                            <mainClass>com.flong.SpringbootApplication</mainClass>                        </manifest>                    </archive>                </configuration>            </plugin>        </plugins></build>
4.2.2 no main manifest attribute错误解决
  • 配置工程主入口
<plugin>    <groupId>org.apache.maven.plugins</groupId>    <artifactId>maven-jar-plugin</artifactId>    <configuration>        <archive>            <manifest>          <mainClass>com.flong.SpringbootApplication</mainClass>            </manifest>        </archive>    </configuration></plugin>
4.2.3 env环境变量文件
  • 用于设置环境动态参数,文件是以.env为格式
JAVA_OPTS_DEFAULT=-Xmx512m
4.2.4 Dockerfile打包工程镜像细讲
  • 以开发环境的Dockerfile为例,如果是测试环境则,把所有路径包含springboot_dev改成springboot_test
FROM frolvlad/alpine-oraclejdk8:slimMAINTAINER jilongliang@sina.comRUN ln -sf /usr/share/zoneinfo/Asia/Shanghai /etc/localtimeRUN mkdir -p /home/devsoft/springboot_devWORKDIR /home/devsoft/springboot_devEXPOSE 7011ADD ./target/springboot.jar ./CMD java ${JAVA_OPTS_DEFAULT} -Djava.security.egd=file:/dev/./urandom -jar springboot.jar
  • 参数说明
图片
  • WORKDIR 工作目录说明进入容器此时会有一个.jar是在Dockerfile的ADD添加进去
docker exec -it 容器名称或容器id /bin/sh

或要使用sh和bash要看COMMAND，-it

docker exec -it 容器名称或容器id/bin/bash
图片
4.2.5 build.sh文件shell脚本详解

注意点1：经过测试动态变量的【等号】不能有空格和tab键置位,否则获取不了值，而且在shell脚本代码里面不支持空格格式化，支持tab置位格式化。在终端(ssh软件端)或Jenkins客户端shell命令,『位置变量』的参数以空格隔开。

如：sh build.sh 192.168.1.235 springboot 0.0.1 7011 /home/jenkins/workspace/springboot_dev

$IMG_NAME:$IMG_VERSION这个IMG_VERSION版本(tag)参数不指定默认latest

注意点2：通常情况下Docker是默认执行Dockerfile，但是可以自定义后缀文件进行编译，前提必须要-f（force）强制指定文件进行运行

#!/usr/bin/env bash# 动态变量的【等号】不能有空格和tab键置位,否则获取不了值，而且在shell脚本代码里面不支持空格格式化，支持tab置位格式化。# 在终端(ssh软件端)或Jenkins客户端shell命令,参数以空格隔开。如：sh build.sh 192.168.1.235 springboot 0.0.1 7011 /home/jenkins/workspace/springboot_devIMG_SERVER="$1"IMG_NAME="$2"IMG_VERSION="$3"IMG_PORT="$4"RUN_EVN="$5"IMG_PATH="$6"

echo "服务地址：$IMG_SERVER"echo "工程镜像名称：$IMG_NAME"echo "工程版本号：$IMG_VERSION"echo "工程端口：$IMG_PORT"echo "服务环境：$RUN_EVN"

#私服访问url路径和编译之后镜像文件存放到指定路径固定,不动态参数进行处理传值.REGISTRY_URL="192.168.1.235:5000"IMG_TAR_GZ_PATH="/home/img_tar_gz_path/"

# 判断动态参数不为空字符串的时候才执行下面操作if [ "$IMG_SERVER" != "" ] && [ "$IMG_NAME" != "" ] && [ "$IMG_VERSION" != "" ] && [ "$IMG_PORT" != "" ]; then

   echo " .......进入删除  Container & Images 操作 ......."    # 清理虚悬镜像,释放磁盘空间    #docker images|grep none|awk '{print $3 }'|xargs docker rmi

    # 获取容器ID    CONTAINER_ID=`docker ps -a | grep $IMG_NAME | awk '{ print $1 }'`

    # 获取镜像ID    IMAGE_ID=`docker images | grep $IMG_NAME | awk '{ print $3 }'`

    # 判断是否存在删除开发容器    if [[ "$CONTAINER_ID" != "" ]]; then        docker rm -f $CONTAINER_ID    fi

    # 判断是否存在删除开发镜像    if [[ "$IMAGE_ID" != "" ]]; then        docker rmi -f $IMAGE_ID    fi    # $IMG_NAME:$IMG_VERSION 这个IMG_VERSION版本(tag)参数不指定默认latest,通过不同参数执行不同环境文件    # -f 表示强制指定Dockerfile文件进行编译

    echo " .......进入Building & Images 操作 ....... "

    #方法1、指定不同文件存放默认的Dockerfile，使用-f进行强制编译    #docker build -t $IMG_NAME:$IMG_VERSION -f $IMG_PATH"env/"$RUN_EVN/Dockerfile $IMG_PATH

    #方法2、跟据不同Dockerfile文件的后缀进行编译不同环境的文件    docker build -t $IMG_NAME:$IMG_VERSION -f $IMG_PATH"env/"Dockerfile_$RUN_EVN $IMG_PATH

    # 将镜像打一下标签，然后安照标签进行推送到私服里面，标签名就以服务名即可    docker tag $IMG_NAME:$IMG_VERSION $REGISTRY_URL/$IMG_NAME:$IMG_VERSION

    # 推镜像到私服里面    docker push $REGISTRY_URL/$IMG_NAME:$IMG_VERSION

    # 判断是否存在文件夹    if [ -d "$IMG_PATH" ];then         echo "已经存在:"$IMG_PATH    else        mkdir -p $IMG_PATH    fi

    # 保存编译之后镜像文件存放到指定路径    docker save $IMG_NAME -o $IMG_TAR_GZ_PATH/$IMG_NAME.tar.gz

    echo " .......进入Runing操作 ....."    docker run -d --network default_network --restart=always --env-file=./.env  -e spring.profiles.active=$RUN_EVN --expose=$IMG_PORT --name=$IMG_NAME  -p $IMG_PORT:$IMG_PORT $IMG_NAME:$IMG_VERSION

    echo " .......Build & Run Finish Success~...."else    echo " .......Illegal Command Operation ......."fi
4.2.6 Docker (save、load、tag、push，pull)命令使用
  • 其中push，pull一个是推，一个是拉，在某种程度下，都是对在私服上面的镜像进行操作
  • docker save命令是保存编译的tar.gz或tar压缩文件，语法如：
docker save 镜像名 -o 路径/镜像名.tar.gz

或

docker save 镜像名 -o 路径/镜像名.tar

docker load 命令是用于导入使用 docker save 命令导出的镜像，此命令非常重要，由于有些客户要求项目工程要求部署在内网，此时这个命令在无网络的内网情况下部署项目的时候就体现它重要的地位了.语法 docker load [OPTIONS]，在加载的过程有点慢，因为文件有点大,其中显示Loady Layer [======]输出信息,证实镜像是分层关系。

docker load -i /home/img_tar_gz_path/springboot.tar.gz
图片
  • 参数说明
图片
  • docker tag和docker push命令是一起结合使用，先tag后push，每个镜像名和版本是以冒号区分，而docker pull根据情况使用.
# 将镜像打一下标签，然后安照标签进行推送到私服里面，标签名就以服务名即可docker tag 镜像名:版本号 私服路径/镜像名:版本号# 推镜像到私服里面docker push私服路径/镜像名:版本号
  • 查看镜像
图片

浏览器验证docker push推送上私服的镜像

图片
图片
4.2.7 虚悬镜像
  • 在docker编译不成功会或者是新版本覆盖旧版本归类为虚悬镜像,生成这个个镜像既没有仓库名，也没有标签，均为 <none>。一般来说，虚悬镜像已经失去了存在的价值，是可以随意删除的。
图片
4.2.8 不同环境的配置文件

配置参数

图片

不同环境配置参数内容

server:  port: 7011runEvn: '开发环境'
server:  port: 7011runEvn: '测试环境'
4.2.9 Controller测试代码
@RestControllerpublic class SimpleController {   //读取配置动态参数    @Value("${runEvn}")    private String runEvn;

    @GetMapping("/test")    public String test() {        return "this spring boot " + runEvn +" date long "       + System.currentTimeMillis();    }}

5、非多台机器免密远程登录&Jenkins部署详解

5.1 特别说明

  • 以开发环境为例子进行说明
  • 开发环境部署目标机器是与Jenkins机器同一台机器，一般情况，Jenkins是单独一台机器，这里为了节省自身电脑内存，故放在同一台机器进行演示与学习。

5.2 新建maven工程

  • 点击Jenkins的新建任务菜单
图片

5.3 参数化构建过程说明

5.3.1添加参数
图片
5.3.2 参数说明以开发环境为案例
图片
5.3.3 源码管理
图片
5.3.4 Build编译设置
图片

表示忽略测试单元类进行编译

clean install -U -Dmaven.test.skip=true

5.4 SSH Publishers设置

  • 其中SSH Server Name就是在http://jenkins地址:端口/jenkins/configure设置好进行选择
  • Transfer Set Source file传输文件的路径,可以使用参数构建的占位符${serverPath}获取
  • Remote directory远程文件目录，同理也参数构建的占位符${serverPath}获取
图片
  • SSH Publishers shell脚本#!/bin/bash表示告诉终端使用bash解析器进行执行，而且只有第一行bash才有效。
#!/bin/bash# 创建目录mkdir -p ${serverPath}# 切换目录cd ${serverPath}# 运行脚本sh build.sh  $server  ${appName}  ${version}  ${port} ${env} ${serverPath}

5.5 构建与编译部署项目

  • 截图的构建参数都是在参数化构建过程配置的参数
图片

5.6 构建&运行&&部署结果

  • 构建过程
图片
  • 部署结果
图片

5、多台机器免密远程登录&Jenkins部署流程详解

6.1 特别说明

  • 以测试环境为例子进行说明
  • 步骤流程几乎一样，唯一是在SSH Publishers 和源码存放路径不一样，测试环境部署目标机器是与Jenkins机器不同一台机器

6.2 新建maven工程

  • 点击Jenkins的新建任务菜单
图片

6.3 参数化构建过程说明

6.3.1添加参数
图片
6.3.2 参数说明以测试环境为案例
图片
6.3.3 源码管理
图片
6.3.4 Build编译设置
图片

6.4 SSH Publishers设置

  1. 其中SSH Server Name就是在http://jenkins地址:端口/jenkins/configure设置好进行选择
  2. Transfer Set Source file传输文件的路径,可以使用参数构建的占位符${serverPath}获取
  3. Remote directory远程文件目录，同理也参数构建的占位符${serverPath}获取
  4. docker_server1表示与Jenkins部署同一个宿主机，使用脚本有远程机器shell脚本操作免登陆操作。
图片
  • docker_server1 Shell脚本#!/bin/bash表示告诉终端使用bash解析器进行执行，而且只有第一行bash才有效。
#!/bin/bash#  打印信息echo "用户名${userName}"echo "服务器${server}"echo "服务器目录${serverPath}"#  远程创建存放远程上传的代码目录路径ssh $server  mkdir -p ${targetServerPath}#  远程拷贝代码到目标机器指定路径scp -r ${serverPath}/  ${userName}@${server}:${targetServerPath}
  • docker_server2表示要部署那台目标机器,所以它的脚本跟docker_server1不一样.
图片
  • docker_server2 Shell脚本
#!/bin/bash# 切换文件目录cd ${serverPath}# 执行脚本sh build.sh ${server}  ${appName}  ${version}  ${port}  ${env} ${serverPath}

6.5 构建与编译部署项目

  • 截图的构建参数都是在参数化构建过程配置的参数
图片

6.6 构建&运行&部署结果

  • 构建过程
图片
  • 部署结果
图片

7、总结&建议&学习

7.1总结与建议

1、此文章仅供提供参考学习指引，如需要系统得学习可以根据自身找资料去学习。

2、以上问题都是根据个人实际学习过程中遇到的问题进行一个一个问题进行梳理与总结整理，除了技术问题查很多网上资料通过进行学习之后整理与分享。

3、在学习过程中也遇到很多困难和疑点，如有问题或误点，望各位老司机多多指出或者提出建议。本人会采纳各种好建议和正确方式不断完善现况，人在成长过程中的需要优质的养料。

4、当遇到问题的时候建议多问『谷歌 、必应、stackoverflow、度娘』这些大神。

5、建议看官方手册更权威，由于随着技术的发展与迭代,通常官方的文档更新较快，国内的网站资料更新较慢。

6、计算机是一门『做中学』的学科，不是会了再去做，而是做了才会。多练，常言道熟能生巧。

7、建议学什么技术『先Know how，再Know Why』，意思就说先入门，搞一个HelloWorld，再深究的意思。

8、希望此文章能帮助你更好了解什么(DevOps）是自动化构建镜像与部署，如何在Docker+Jenkins+GitLab+Maven+SpringBoot&SpringCloud自动构建镜像与部署服务应用，整个学习流程与搭建会有点小曲折，并不会那么顺利，也希望你看了此文章或者通过找资料进行亲身经历学习效果会更好。

7.2 学习&参考文章

  • https://docs.docker.com/engine/reference/commandline/docker/

  • https://yeasy.gitbooks.io/docker_practice/

  • https://github.com/spotify/docker-maven-plugin

  • https://dmp.fabric8.io/

  • https://github.com/jilongliang/springboot

  • https://www.cnblogs.com/kakaln/p/7872873.html

  • https://www.cnblogs.com/lucoo/p/10209892.html

赞 (0)

相关推荐

  • SpringBoot整合阿里短信服务

    导读 由于最近手头上需要做个Message Gateway,涉及到:邮件(点我直达).短信.公众号(点我直达)等推送功能,网上学习下,整理下来以备以后使用. 步骤 点我直达 登录短信服务控制台 点我直 ...

  • 构建自己的docker镜像

    今天玩一下怎么构建一个我们自己的docker镜像,然后我们试试将本地的springboot项目打包成一个镜像,然后发送到远程服务器的docker中,最后我们运行这个docker镜像成功访问: 提前须知 ...

  • SpringBoot静态资源文件目录

    SpringBoot在默认的情况下提供了4个静态资源目录:/static:classpath:/static//public:classpath:/public//resources:classpat ...

  • Spring 和 SpringBoot 之间到底有啥区别？

    链接:http://uee.me/cNDC8 概述 对于 Spring和 SpringBoot到底有什么区别,我听到了很多答案,刚开始迈入学习 SpringBoot的我当时也是一头雾水,随着经验的积累 ...

  • Jenkins GitLab Docker SpringCloud Kubernetes构建可持续自动化微服务系统

    现有混合云平台的场景下,即有线下和线上的环境,又有测试与正式的场景,而且结合了Docker,导致打包内容有所区分,且服务的发布流程复杂起来,手工打包需要在编译阶段就要根据环境到处更改配置,因此纯手工发 ...

  • springboot docker jenkins 自动化部署并上传镜像的步骤详解

    这篇文章主要介绍了springboot docker jenkins 自动化部署并上传镜像的相关资料,本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下 spri ...

  • Maven项目管理工具：Maven自动化构建

    Maven自动化构建是一种方案,即当某个项目构建完成后(特别是有代码更新的情况下),所有依赖它的相关项目也应该开始构建过程,以确保这些项目的稳定运行. Maven的自动化构建主要通过如下两种方案实现: ...

  • jenkins学习10-参数化构建(构建git仓库分支)

    前言 当我们的自动化项目越来越多的时候,在代码仓库会提交不同的分支来管理,在用jenkins来构建的时候,我们希望能通过参数化构建git仓库的分支. Git Parameter插件 先下载 Git P ...

  • Jenkins + GitLab + Dockers 部署 Spring Boot 应用

    Spring boot 为微服务提供了便利,Docker 的发展又极大的方便了微服务的部署.这篇文章将介绍如何使用 Jenkins 快速的生成微服务的镜像以及快速启动服务.主要流程:更新代码到 Git ...

  • 持续集成 Jenkins +Gitlab + SSH 自动发布 HTML 代码

    一.整体流程 二.Jenkins 配置 2.1.首先安装插件 Gitlab Hook Plugin GitLab Plugin Publish Over SSH 2.2.配置目标服务器 系统管理 -- ...

  • 自动化构建初体验

    自动化构建 1.自动化构建简介 2.自动化构建初体验 3.常用的自动化构建工具 1.自动化构建简介 重复工作本应自动化.自动化:通过机器代替手工完成一些工作.构建:理解成转换. 源代码----自动化构 ...

  • 如何在Polkadot构建和部署智能合约 | 区块链研究实验室

    原创 链三丰 区块链研究实验室 今天 收录于话题 #区块链技术31 #智能合约18 #区块链应用28 #区块链开发30 #区块链43 Polkadot是下一代区块链协议,它将多个专用区块链连接到一个统 ...

  • 如何构建和部署 SAP Commerce Cloud 项目

    原文链接 SAP Commerce Cloud 提供了许多自助服务功能来配置.构建和部署商务解决方案. 当您第一次开始使用时,似乎需要了解很多.在本文中,我们将带您逐步了解如何使用自助服务功能来配置您 ...