aws codepipeline + github + sonarqube + jenkins实践CI/CD

https://blog.csdn.net/u011564831/article/details/144007981文章浏览阅读1.2k次，点赞31次，收藏21次。本文使用 Jenkins 结合 CodeBuild, CodeDeploy 实现 Serverless 的 CI/CD 工作流，用于自动化发布已经部署 lambda 函数。在 AWS 海外区，CI/CD 工作流可以用 codepipeline 这项产品来方便的实现，由于中国区暂时未发布此款产品，此文采用做替代方案管理 CICD 工作流。本文在此所涵盖的所有产品在中国区都可以使用。_aws github cicdhttps://blog.csdn.net/u011564831/article/details/144007981

在上次使用jenkins 作为webhook中间组件响应 github push event实现简单的lambda 函数部署以后，这次要实现springboot后端和vue前端测试用例的代码静态检查后ECS部署

准备工作

使用下面规制的EC2 t3.large   作为Jenkins的EC2 t2.medium    作为sonar的EC2

安装jdk命令

# 卸载命令 sudo dnf remove java-17-amazon-corretto -y sudo dnf clean all # 安装命令 sudo dnf install java-17-amazon-corretto -y # 查看JAVA_HOME sudo alternatives --config java

jenkins的机器上需要安装git

yum install git -y

还需要安装的插件

SonarQube Scanner Github NodeJS

在jenkins机器上配置AAK 和ASA

Text plain region = ap-xx-2 output = json aws_access_key_id = xx aws_secret_access_key = xx

利用本地跳板机进行文件上传，下面是一个例子方便操作

Text plain IP_ADDRESS='43.200.129.240'   #后面替换为自己的地址 PEM_FILE='jenkins.pem'  #替换为自己的pem文件路径 scp -i $PEM_FILE -r $YOUR_FILES ec2-user@$IP_ADDRESS:/home/ec2-user/

使用 RDS 启动mysql 5.7 （两小时1美金稍贵，自己练习推荐EC2安装mysql）

sonar机器上安装sonarqube，使用docker方式

在sonarqube准备的t2.medium 机器上，执行下面命令

# 安装docker yum install docker -y systemctl enable docker systemctl start  docker # 拉取镜像, 使用jdk1.8的版本 docker pull sonarqube:7.9.6-community

创建持久化卷，用来存储docker下持久化数据，防止丢失

//创建卷，不要使用直接挂载的方式。直接使用挂载会导致安装的插件不可用 docker volume create --name sonarqube_data docker volume create --name sonarqube_logs docker volume create --name sonarqube_extensions //用于挂载以创建的卷 mkdir -p /usr/sonar/conf mkdir -p /usr/sonar/data mkdir -p /usr/sonar/logs mkdir -p /usr/sonar/extensions

启动SonarQube

docker run -d --name sonarqube \     -p 9000:9000 \     -v sonarqube_data:/usr/sonar/data \     -v sonarqube_extensions:/usr/sonar/extensions \     -v sonarqube_logs:/usr/sonar/logs \     -v /opt/sonarqube/conf:/usr/sonar/ \     sonarqube:7.9.6-community

访问9000端口看到sonar_qube页面

jenkins机器上配置maven

需要使用mvn来编译jar

 在Jenkins EC2机器上配置mvn， 下载地址Download Apache Maven – Maven

apache-maven-3.8.8-bin.zip 解压重命名到/usr/local/maven路径，配置~/.bashrc

Plain Text export MVN_HOME=/usr/local/maven export PATH=$MVN_HOME/bin:$PATH export JAVA_HOME=/usr/lib/jvm/java-17-amazon-corretto export PATH=$JAVA_HOME/bin:$PATH export SONAR_RUNNER_HOME=/usr/local/sonar-scanner export PATH=$SONAR_RUNNER_HOME/bin:$PATH

配置aliyun的mavenc仓库

Plain Text <mirror>       <id>alimaven</id>       <name>aliyun maven</name>       <url>http://maven.aliyun.com/nexus/content/groups/public/</url>       <mirrorOf>central</mirrorOf> </mirror>

配置成功后控制查看安装

[root@ip-10-0-17-14 maven]# mvn -v Apache Maven 3.8.8 (4c87b05d9aedce574290d1acc98575ed5eb6cd39) Maven home: /usr/local/maven Java version: 17.0.13, vendor: Oracle Corporation, runtime: /usr/local/jdk-17.0.13 Default locale: en, platform encoding: UTF-8 OS name: "linux", version: "6.1.115-126.197.amzn2023.x86_64", arch: "amd64", family: "unix"

jenkins机器上配置nvm 通过nvm安装node

需要使用npm来给前端打包

执行脚本先安装nvm

curl -o- https://raw.githubusercontent.com/nvm-sh/nvm/v0.39.5/install.sh | bash

安装完成后，您需要在终端中加载 NVM。可以通过将以下内容添加到您的 shell 配置文件中（如 ~/.bashrc 等）来实现：

export NVM_DIR="$HOME/.nvm" [ -s "$NVM_DIR/nvm.sh" ] && \. "$NVM_DIR/nvm.sh" # This loads nvm

使用nvm安装node 18

nvm install 18

jenkins机器上配置docker

会使用docker把构建的镜像推送到ECR

# 安装docker yum install docker -y systemctl enable docker systemctl start  docker

补充一点，后面会使用docker login的操作是需要配置aws configure的

jenkins机器上安装sonar scanner

推荐版本 SonarScanner 3.0 或更高版本： SonarQube 7.6 支持 SonarScanner 3.0 及更高版本。建议使用最新的 3.x 版本，以确保获得最新的功能和修复。

打开浏览器地址https://binaries.sonarsource.com/?prefix=Distribution/sonar-scanner-cli/

找到sonar-scanner-cli-3.3.0.1492-linux.zip 进行下载

下载后上传文件到EC2 上解压放重命名到 /usr/local/sonar-scanner

修改 ~/.bashrc 文件，添加

Text plain export SONAR_SCANNER_HOME=/usr/local/sonar-scanner export PATH=$SONAR_SCANNER_HOME/bin:$PATH

source ~/.bashrc 生效

编辑 /usr/local/sonar-scanner/conf/sonar-scanner.properties

Text plain sonar.host.url=http://<sonarqube_url>:9000

查看安装

Text plain [root@node125 conf]# sonar-scanner --version INFO: Scanner configuration file: /usr/local/sonar-scanner/conf/sonar-scanner.properties INFO: Project root configuration file: NONE INFO: SonarQube Scanner 3.3.0.1492 INFO: Java 1.8.0_121 Oracle Corporation (64-bit) INFO: Linux 3.10.0-1160.118.1.el7.x86_64 amd64

回到github项目，在测试maven项目pom.xml项目同一级目录下创建sonar-project.properties

Text plain sonar.projectKey=项目名称   sonar.projectName=项目名称 sonar.projectVersion=1.0  sonar.sources=. sonar.java.binaries=target/classes sonar.language=java  sonar.sourceEncoding=UTF-8

一定要配置sonar.java.binaries=target/classes 表示要扫描的jar的文件位置

jenkins机器上手动测试sonar-scanner 

在项目jenkins 拉取github的workspace目录下找到

/root/.jenkins/workspace/xx/springTest2

目录下执行sonar-scanner 

查看扫描结果

配置jenkins集成

安装SonarQube Scanner 插件

Sonarqube 上生成token, 用admin/admin(原始密码， 系统会提示需要修改后再登录)登录以后

MyAccount - security - generate token

复制这个key 在jenkins -> setting -> system下找sonarqube加上

配置qube server的访问url

添加刚在sonar_qube上成成的token

Jenkins setting ->全局工具  ，配置里配置sonar_scanner的安装位置

填写 /usr/local/sonar-scanner 作为SONAR_RUNNER_HOME

Jenkins 配置后端作业配置

Build Steps 先添加一个shell 执行

Text plain cd /root/.jenkins/workspace/xx/springTest2 /usr/local/maven/bin/mvn clean install

在下面再添加一个execute sonarqube_scanner

sonar_scaner只配置sonar-project.properties 文件位置

填写相对位置 ./springTest2/sonar-project.properties

查看job控制台输出发现使用的jdk版本不对

因为在jenkins里执行sonar-scanner会使用这个 /usr/local/sonar-scanner/jre/bin/java

执行

cd /usr/local/sonar-scanner/jre/bin rm -rf java ln -s /usr/local/jdk-17.0.13/bin/java $PWD/java

补充一个sonar-scanner检查的问题

ERROR: Unable to create symbol table for : 'springTest2/src/main/java/com/example/springTest2/controller/HelloController.java'

java.lang.IllegalArgumentException: Unsupported class file major version 61

是因为mvn使用了jdk17做编译，但是sonarqube低版本，这个时候配置JAVA_HOME

遇到这个报错

配置--add-opens java.base/java.lang=ALL-UNNAMED  到JVM Options

遇到No files nor directories matching 'target/classes' 需要在项目位置找到target/classes 的相对路径

再次跑作业查看页面上会有passed的标志

Sonarqube 配置强制登录

有强制登录后可以从上面位置点击跳转过来

Jenkins 再添加一个shell构建阶段

增加下面脚本内容

Text plain cd /root/.jenkins/workspace/xx/springTest2 image_version='xx.dkr.ecr.ap-northeast-2.amazonaws.com/xx/backend:latest' docker build -t $image_version . aws ecr get-login-password --region ap-northeast-2 | docker login --username AWS --password-stdin xx.dkr.ecr.ap-northeast-2.amazonaws.com docker push $image_version

再次执行

检查ECR 推送成功

Jenkins 配置前端作业配置

在shell构建里加上

Text plain export NVM_DIR="$HOME/.nvm" [ -s "$NVM_DIR/nvm.sh" ] && \. "$NVM_DIR/nvm.sh" cd /root/.jenkins/workspace/frontend_job/vue_test_login nvm use 18 /root/.nvm/versions/node/v18.20.5/bin/npm run build image_version='xx.dkr.ecr.ap-northeast-2.amazonaws.com/xx/frontend:latest' docker build -t $image_version . aws ecr get-login-password --region ap-northeast-2 | docker login --username AWS --password-stdin xx.dkr.ecr.ap-northeast-2.amazonaws.com docker push $image_version

测试一下，构建推送成功

复习  ECS 后端部署

任务定义

把重要的镜像和使用的端口配置上

1 ECS 下创建集群，我们使用Fargate这种更加方便的方式

2 创建服务

创建负载均衡

其他不用动

完毕后看到

codepipeline 后端部署配置

1,  Choose creation option 选择build custom pipeline

2 选择流水线设置

3 添加源阶段 , 选择S3

新建imagedefinitions.json

Text plain [   {     "name": "backend",     "imageUri": "xx.dkr.ecr.ap-northeast-2.amazonaws.com/xx/backend:latest"   } ]

把这个文件压缩为zip,上传到s3

记得S3 开启版本控制

4 跳过构建阶段

5  添加部署阶段

jenkins后端job配置codepipeline的触发

Text plain aws codepipeline start-pipeline-execution --name jenkins_pipe

执行时间较长

复习  ECS 前端部署

创建任务

把使用的镜像和使用的端口写清楚

其余不用动点击创建

在ECS集群下创建服务

选择任务

联网里选择VPC

把负载均衡加上

找到负载均衡的DNS地址

codepipeline 前端部署配置

创建一个zip包含vue_imagedefination.json的文件，json文件格式为

Text plain [   {     "name": "frontend",     "imageUri": "xx.dkr.ecr.ap-northeast-2.amazonaws.com/xx/frontend:latest"   } ]

上传这个zip到s3

1,  Choose creation option 选择build custom pipeline

2  选择流水线设置

3  添加S3作为源

4 跳过构建阶段

5 添加部署阶段

jenkins 前端job配置codepipeline的触发

Text plain aws codepipeline start-pipeline-execution --name vue_pip

实现一个完整的github push -> jenkins -> codepipeline -> ecs service部署

本地代码git push, github上显示推送成功

触发了codepipeline 的构建

查看codepipline

再看ECS， 部署任务版本+1了

检查LBS 地址，部署更新了

RDS 太贵，使用免费的EC2安装mysql

# 安装docker yum install docker -y systemctl enable docker systemctl start  docker # 拉取镜像 docker pull mysql:5.7.41 # 启动 mysql docker run -d --name mysql-1 -p 3306:3306  -e MYSQL_ROOT_PASSWORD='xx'  mysql:5.7.41

再复习下如何把github push event 触发jenkins构建

1 github上生成token

2 在github项目上创建指向jenkins的webhook

地址填写http://<jenkins_host>:9001/github-webhook/

3  jenkins上system configure 上配置access token

添加认证方式

在箭头处填写github access token

记得在jenkins job上把push 构建选项勾上