步步为营,如何将GOlang引用库的安全漏洞修干净
文章目录
- 引
- 场景构建
- 第一步、直接引用的第三方库升级修复策略
- 1.确认是否为直接引用的第三方库
- 2.找到需要升级的版本是否为release版本
- 第二步、间接引用的第三方库升级修复策略
- 那么问题来了,我们这么间接引用库的对应的直接引用库是哪个呢?
- (一)没有release版本,但直接引用库有最新的代码可升级
- (1)将最新代码下载到项目某个子目录下
- (2)然后修改go.mod文件,将自动引用替换为指定引用:
- (3)执行`go mod tidy` 和`go mod vender`
- (4)执行`go build`
- (二)没有release版本,且直接引用库有没有最新的代码可升级
- (1)将最新代码下载到项目某个子目录下
- (2)手动升级swagger代码中Gin库的引用版本
- (3)然后修改go.mod文件,将自动引用替换为指定引用:
- (4)执行`go mod tidy` 和`go mod vender`
- (5)执行`go build`
近期,笔者接到一个任务,因为代码安全原因,需要批量升级一系列的Golang第三方组件,这里面包含了直接引用的第三方库和间接引用的第三方库,其中第三方库也包括能够直接升级和不能直接升级两种,这里把相关解决方案沉淀在此,供大家参考
引
首先,随着Golang语言的火热,不论是官方还是开发者都越来越重视其中的安全问题,Golang安全团队在2023年也发布了govulncheck的1.0.0版本,而在业界,也有一些比较好的扫描工具可以用比如trivy。
不论是哪一种静态扫描或镜像扫描工具,都会给出一系列的官方引用库的修复指引,这时候,很多开发者发现,事情其实没有者这么简单,直接引用的还好,根据修复指引和漏洞信息找到对应的版本就好,间接引用的版本,由于涉及到第三方库自身的升级,这里需要操作的步骤比较多,而且有的第三方库可能没有最新的release版本,这个是否如何进行安全的升级变成了一个问题,这里就把几种升级方式进行分享。
场景构建
首先,在岁月静好的一天,作为研发的你,发现了一个了不起的漏洞扫描软件trivy,经过研发,你发现它可以直接扫描仓库代码进行漏洞扫描,尝试扫描项目后,结果如下:

啊,原来代码中引用的Gin版本太低了,存在漏洞,需要升级,怎么操作呢?
第一步、直接引用的第三方库升级修复策略
1.确认是否为直接引用的第三方库
你从修复指引中了解到,需要将Gin从1.8.1升级到1.9.0版本,那么,你很自然的在Golang项目中查找go.mod文件,看看直接引用库Gin的版本:

发现确实是1.8.1,说明项目确实直接引用Gin库需要升级,那怎么找到可以升级的版本呢?
当然,在这个示例中,trivy漏洞指引中已经告诉你需要升级1.9.0release版本,所以可以直接跳过第二步,笔者这里主要针对没有直接列出可修复release版本的情况
2.找到需要升级的版本是否为release版本
一种方法是去库对应的官网,比如在Gin的官网得知1.9.0是一个release版本

还有一种方法比较快捷的方式:
在go.mod同级目录下,执行:
go list -m -mod=mod -u all
这个命令会列出所有直接引用库以及它们的版本,并且会标出哪些包需要升级。

上图中括号里面显示的是,可以升级的最新release版本### 3.进行升级
使用以下命令来升级:
go get -u <package-name>
示例如下:

这样就可以将直接引用的有release版本的第三方库进行升级
至此,我们通过对直接引用的GIn库进行升级.修复了安全漏洞
然后当你再用trivy工具进行扫描时,发现问题并没有解决:

这里我们以trivy工具扫描的结果为示例
Gin的1.8.1的问题还在

这时,你决定对整个项目进行搜索,发现在go.sum文件中存在对Gin的1.8.1版本的引用

你发现,事情没有这个简单了

第二步、间接引用的第三方库升级修复策略
再回到这个扫描结果

这里我们以trivy工具扫描的结果为示例
再次查看go.sum文件,

你观察到,有的引用库是一个SHA信息,有的引用库有两个SHA信息
比如上图的1.8.1只有一个哈希值,而1.9.1有两个哈希值,这是为什么?
原来,go.sum的存在的意义在于:希望别人或者在别的环境中构建当前项目时所使用引用库跟 go.sum 中记录的是完全一致的,从而达到一致构建的目的。
如果在go.mod记录了一个引用库,则在go.sum 文件中则会记录引用库的哈希值(同时还有引用库中 go.mod 的哈希值)
反过来,如果只有一个哈希值,说明这个引用库是个间接引用库
参考资料:https://my.oschina.net/renhc/blog/3171035
那么问题来了,我们这么间接引用库的对应的直接引用库是哪个呢?
答案是:go mod graph
这个命令会列出所有直接和间接依赖项之间的依赖关系。你可以在这个列表中查找你要升级的包,并找到直接或间接依赖它的包。然后,你可以查看这些包的版本,看看它们是否需要升级。

例如上图,可以看到,X/text是gin1.9.1版本的引用库
而下图则显示,cors库引用了gin的1.8.1:

当然,这里的引用关系比较多,看控制台数据会比较不直观,特别是层层引用的情况。这里推荐一个可视化的工具gmchart
安装方式
go get -u github.com/PaulXu-cn/go-mod-graph-chart/gmchart
使用方式
go mod graph | gmchart

它会生成一个html的引用依赖图:


这样就可以看层层的引用关系了
通过上面两个图,发现原来有来两个库的gin版本是1.8.1,一个是gin-contrib/cors,另一个是swaggo/gin-swagger
下面我们来看看,怎么升级这两个引用库
(一)没有release版本,但直接引用库有最新的代码可升级
首先看cors库, 通过go list -m -mod=mod -u all命令,发现cors并没有可升级的release版本

去git上找下最近release版本是不是没有收录

果然已经是最新的release

不慌,这个时候,还有机会,可以去源代码处找下最新代码:

恩,最新代码改了,只不过没有发布release版本,这个时候,可以把源代码下载下来,直接引用
(1)将最新代码下载到项目某个子目录下

(2)然后修改go.mod文件,将自动引用替换为指定引用:

(3)执行go mod tidy 和go mod vender
其中,go mod tidy的作用是自检一下修改go.mod文件是否正确;
go mod vendor则基于go.mod文件生成vendor, 即下载对应的内容
执行完后,查看vendor文件夹下的modules.txt文件,看下修改是否生效

上图则表示,生效了!
(4)执行go build

看下是否编译通过即可!
cors引用库的问题解决了
(二)没有release版本,且直接引用库有没有最新的代码可升级
那么开始解决swagger引用库的问题
通过go list -m -mod=mod -u all命令,发现没有可以升级的包了
去git上找下最近release版本和最新的master代码

swagger最新的代码,也只是将gin升级到了1.9.0
不是漏洞扫描要求的1.9.1

这…就得动源码了。。。
(1)将最新代码下载到项目某个子目录下

(2)手动升级swagger代码中Gin库的引用版本


(3)然后修改go.mod文件,将自动引用替换为指定引用:

(4)执行go mod tidy 和go mod vender
其中,go mod tidy的作用是自检一下修改go.mod文件是否正确;
go mod vendor则基于go.mod文件生成vendor, 即下载对应的内容
执行完后,查看vendor文件夹下的modules.txt文件,看下修改是否生效

上图则表示,生效了!
(5)执行go build

看下是否编译通过即可!
swagger引用库的问题解决了

相关文章:
步步为营,如何将GOlang引用库的安全漏洞修干净
文章目录 引场景构建第一步、直接引用的第三方库升级修复策略1.确认是否为直接引用的第三方库2.找到需要升级的版本是否为release版本 第二步、间接引用的第三方库升级修复策略那么问题来了,我们这么间接引用库的对应的直接引用库是哪个呢? (…...
as-if-serial与happens-before原则详解
文章目录 前言详解解决多线程下的问题 Happens-before原则总结as-if-serial语义happens-before的例子 前言 "as-if-serial"原则是Java内存模型中的一个重要概念。该规则规定:不管怎么重排序(编译期间的重排序,指令级并行的重排序&…...
基于Yolov8的工业小目标缺陷检测(2):动态蛇形卷积(Dynamic Snake Convolution),实现暴力涨点 | ICCV2023
目录 1.工业油污数据集介绍 1.1 小目标定义 1.2 难点 1.3 工业缺陷检测算法介绍 1.3.1 YOLOv8...
ARM64汇编基础
ARM64汇编基础 主要内容 到目前为止,大部分的移动设备都是64位的arm架构,一直想抽个时间系统学习下,这个周末就专门来学习下。毕竟两天的时间,也只是简单的入门了解下,为后续工作和学习打下基础。 本次学习的主要内容…...
Nodejs 第十六章(ffmpeg)
FFmpeg 是一个开源的跨平台多媒体处理工具,可以用于处理音频、视频和多媒体流。它提供了一组强大的命令行工具和库,可以进行视频转码、视频剪辑、音频提取、音视频合并、流媒体传输等操作。 FFmpeg 的主要功能和特性: 格式转换:…...
k8s集群部署es
集群内创建需要用到存储,此处举例使用腾讯云cfs共享存储 内存limits限制不需要加,否则会经常内存溢出导致es集群故障 apiVersion: apps/v1 kind: StatefulSet metadata:name: es7-clusternamespace: elasticsearch spec:serviceName: es-clusterreplica…...
学习记忆——宫殿篇——记忆宫殿——记忆桩——火车+外院+客厅+卧室
护板 警示灯 烟筒 采集箱 司炉室 桥 电线杆 棚顶 车厢 护栏 植物 石阶 水泥台 竹门 树干 躺椅 柱子 墙 池 洞 方灯 枕头 树 浴池 墙 射灯 藤条 浴巾框 耳环 窗户 灯 沙发 壁炉 吊灯 兵马俑 门 石佛 沙发椅 圆木 弧形木箱盖 床 窗帘 画板 纸伞 花 沙发背 颜料 抽屉...
QT用户登录注册,数据库实现
登录窗口头文件 #ifndef LOGINUI_H #define LOGINUI_H#include <QWidget> #include <QLineEdit> #include <QPushButton> #include <QLabel> #include <QMessageBox>#include <QSqlDatabase> //数据库管理类 #include <QSqlQuery> …...
GEE学习总结(9)——像元二分法计算月度植被覆盖度(MODIS)
像元二分法计算植被覆盖度 通过MODIS的NDVI数据集MOD13Q1和像元二分法计算植被覆盖度 var multi_NDVI ee.ImageCollection(MODIS/006/MOD13Q1).filterDate(2015-06-01, 2016-09-01).select(NDVI).max().divide(10000).clip(geometry);var ndviVis {min: 0.0,max: 1,palette…...
RabbitMQ用户命令_策略_日志
RabbitMQ相关安装 Centos离线安装RabbitMQ并开启MQTT Docker安装rabbitMQ RabbitMQ集群搭建和测试总结_亲测 Docker安装RabbitMQ集群_亲测成功 RabbitMQ创建管理员命令 #查看当前用户命令: rabbitmqctl list_users#创建用户和密码 rabbitmqctl add_user admin…...
停车场系统、智慧城市停车、智慧社区、物业管理、新能源充电、人脸门禁 uniapp 系统源码
1. 智慧停车 支持模式 封闭性单个停车场路边停车(车位级管理)大小场(场中场),多场子并行或嵌套 所有者模式 统一平台管理总平台下子账号(区域代理)自建场地资源,自行维护数据总平台下子账号(区域代理)再分配和单个停车场管理人员(物业管理/维保/保安/财务…...
Linux磁盘管理
物理设备的命名规则 在linux系统中一切都是文件,硬件设备也不例外。即然是文件,就必须有文件名称。系统内核中的udev设备管理器会自动把硬件名称规范起来,目的是让用户通过设备文件的名字可以看出设备大致的属性以及分区信息等;在…...
vue学习之vue cli创建项目
安装 node.js https://nodejs.org/en 安装 vue cli npm install -g @vue/cli --registry=https://registry.npm.taobao.org创建项目 执行创建命令,回车vue create vue-cli-learning选择 “Manually select features”,回车 “空格” 关闭 Linter / Formatter 选项,回车...
K8S:Pod容器中的存储方式及PV、PVC
文章目录 Pod容器中的存储方式一.emptyDir存储卷1.emptyDir存储卷概念2.emptyDir存储卷示例 二.hostPath存储卷1.hostPath存储卷概念2.hostPath存储卷示例 三.nfs共享存储卷1.nfs共享存储卷示例 四.PV和PVC1.PV、PVC概念2.PVC 的使用逻辑及数据流向3.storageclass插…...
uni-app跳转到另一个app
第一步: 首先要知道 app的包名 获取方式如下 第二步: 在第一个 demo1 app 一个页面中需要一个按钮去跳转 方法如下 <template><view class"content"><button click"tz">跳转</button></view> </…...
如何通过一键导出导入数据实现批量重命名文件名称
在日常办公中,我们经常需要对大量的文件进行重命名,以便更好地管理和查找文件。而且,有时候我们还需要将文件名称翻译成其他语言,以适应不同的工作需求。如何高效地完成这项任务呢?接下来,我将介绍一种方法…...
CTF —— 网络安全大赛(这不比王者好玩吗?)
前言 随着大数据、人工智能的发展,人们步入了新的时代,逐渐走上科技的巅峰。 \ ⚔科技是一把双刃剑,网络安全不容忽视,人们的隐私在大数据面前暴露无遗,账户被盗、资金损失、网络诈骗、隐私泄露,种种迹象…...
3D模型转换工具HOOPS Exchange如何实现OBJ格式轻量化?
什么是OBJ模型轻量化? OBJ格式是一种常用的三维模型文件格式,通常包含模型的顶点、法线、纹理坐标等信息,但有时候这些信息可能会使模型文件变得较大,不利于网络传输、加载和运行。 OBJ(Object)模型轻量化…...
命令模式-
定义:又叫动作模式或事务模式。指的是将一个请求封装成一个对象,使发出请求的责任和执行请求的责任分割开,然后可以使用不同的请求把客户端参数化,这样可以使得两者之间通过命令对象进行沟通,从而方便将命令对象进行储…...
进程的管理
#include <unistd.h> void _exit(int status); #include <stdlib.h> void _Exit(int status); status参数:是进程退出时的状态信息,父进程在回收子进程资源的时候可以获取到 #include<stdio.h> #include<stdlib.h> #includ…...
HTML 语义化
目录 HTML 语义化HTML5 新特性HTML 语义化的好处语义化标签的使用场景最佳实践 HTML 语义化 HTML5 新特性 标准答案: 语义化标签: <header>:页头<nav>:导航<main>:主要内容<article>&#x…...
基于距离变化能量开销动态调整的WSN低功耗拓扑控制开销算法matlab仿真
目录 1.程序功能描述 2.测试软件版本以及运行结果展示 3.核心程序 4.算法仿真参数 5.算法理论概述 6.参考文献 7.完整程序 1.程序功能描述 通过动态调整节点通信的能量开销,平衡网络负载,延长WSN生命周期。具体通过建立基于距离的能量消耗模型&am…...
Appium+python自动化(十六)- ADB命令
简介 Android 调试桥(adb)是多种用途的工具,该工具可以帮助你你管理设备或模拟器 的状态。 adb ( Android Debug Bridge)是一个通用命令行工具,其允许您与模拟器实例或连接的 Android 设备进行通信。它可为各种设备操作提供便利,如安装和调试…...
模型参数、模型存储精度、参数与显存
模型参数量衡量单位 M:百万(Million) B:十亿(Billion) 1 B 1000 M 1B 1000M 1B1000M 参数存储精度 模型参数是固定的,但是一个参数所表示多少字节不一定,需要看这个参数以什么…...
通过Wrangler CLI在worker中创建数据库和表
官方使用文档:Getting started Cloudflare D1 docs 创建数据库 在命令行中执行完成之后,会在本地和远程创建数据库: npx wranglerlatest d1 create prod-d1-tutorial 在cf中就可以看到数据库: 现在,您的Cloudfla…...
基于Flask实现的医疗保险欺诈识别监测模型
基于Flask实现的医疗保险欺诈识别监测模型 项目截图 项目简介 社会医疗保险是国家通过立法形式强制实施,由雇主和个人按一定比例缴纳保险费,建立社会医疗保险基金,支付雇员医疗费用的一种医疗保险制度, 它是促进社会文明和进步的…...
【Go】3、Go语言进阶与依赖管理
前言 本系列文章参考自稀土掘金上的 【字节内部课】公开课,做自我学习总结整理。 Go语言并发编程 Go语言原生支持并发编程,它的核心机制是 Goroutine 协程、Channel 通道,并基于CSP(Communicating Sequential Processes࿰…...
ETLCloud可能遇到的问题有哪些?常见坑位解析
数据集成平台ETLCloud,主要用于支持数据的抽取(Extract)、转换(Transform)和加载(Load)过程。提供了一个简洁直观的界面,以便用户可以在不同的数据源之间轻松地进行数据迁移和转换。…...
OpenPrompt 和直接对提示词的嵌入向量进行训练有什么区别
OpenPrompt 和直接对提示词的嵌入向量进行训练有什么区别 直接训练提示词嵌入向量的核心区别 您提到的代码: prompt_embedding = initial_embedding.clone().requires_grad_(True) optimizer = torch.optim.Adam([prompt_embedding...
【HarmonyOS 5 开发速记】如何获取用户信息(头像/昵称/手机号)
1.获取 authorizationCode: 2.利用 authorizationCode 获取 accessToken:文档中心 3.获取手机:文档中心 4.获取昵称头像:文档中心 首先创建 request 若要获取手机号,scope必填 phone,permissions 必填 …...
