当前位置：首页 > news >正文

aws ecr 使用golang实现的简单镜像转换工具

news 文章来源：https://blog.csdn.net/sinat_41567654/article/details/129222817 2024/11/20 0:48:40

https://pkg.go.dev/github.com/docker/docker/client#section-readme

通过golang实现一个简单的镜像下载工具

总体步骤

启动一台海外区域的ec2实例
安装docker和awscli
配置凭证访问国内ecr仓库
编写web服务实现镜像转换和自动推送

安装docker和awscli

sudo yum remove awscli -y
sudo yum install less -y
sudo yum install unzip -y
curl "https://awscli.amazonaws.com/awscli-exe-linux-x86_64.zip" -o "awscliv2.zip"
unzip awscliv2.zip
sudo ./aws/install --update
complete -C '/usr/local/bin/aws_completer' aws
sudo yum install docker -y
sudo systemctl start docker
sudo systemctl enable docker
sudo groupadd docker
sudo usermod -aG docker ec2-user

配置ecr凭证助手

https://github.com/awslabs/amazon-ecr-credential-helper

sudo yum install amazon-ecr-credential-helper
vim ~/.docker/config.json
{"credsStore": "ecr-login"
}

或者手动临时配置凭证

aws ecr get-login-password --region cn-north-1 | docker login --username AWS --password-stdin xxxxxx.dkr.ecr.cn-north-1.amazonaws.com.cn

编写web服务

使用golang原生的http包实现，比较简单粗糙，测试用的话足够了

前端页面

在这里插入图片描述

<!DOCTYPE html>
<html lang="en"><head><meta charset="UTF-8"><meta http-equiv="X-UA-Compatible" content="IE=edge"><meta name="viewport" content="width=device-width, initial-scale=1.0"><title>ToImage</title><style>* {margin: 0;padding: 0;}.container {height: 300px;width: 100%;margin: 100px auto 0 auto;}.parent {position: relative;top: 50%;left: 30%;}.search {width:  650px;height: 50px;border-radius: 18px;outline: none;border: 1px solid #ccc;padding-left: 20px;padding-right: 100px;position: absolute;font-size: 20px;}.btn {height: 36px;width: 100px;position: absolute;background: #fff;top: 6px;left: 650px;border: none;outline: none;font-size: 20px;}</style>
</head><body><div class="container"><form class="parent" method="get" action="/myrepo"><input type="text" class="search" placeholder="Please Input..." name="iamgename" /><input type="submit" class="btn" value="Search" /></form></div>
</body></html>

后端服务

package mainimport ("context""fmt""io""log""net/http""os/exec""strings""text/template""github.com/aws/aws-sdk-go/aws""github.com/aws/aws-sdk-go/aws/awserr""github.com/aws/aws-sdk-go/aws/session""github.com/aws/aws-sdk-go/service/ecr""github.com/aws/aws-sdk-go/service/sts""github.com/docker/docker/api/types""github.com/docker/docker/client"
)func main() {http.HandleFunc("/", index)http.HandleFunc("/myrepo", myrepo)log.Println("The server is listening on 0.0.0.0:8089")http.ListenAndServe(":8089", nil)
}
func index(w http.ResponseWriter, r *http.Request) {t, _ := template.ParseFiles("index.html")t.Execute(w, "hi")
}
func myrepo(w http.ResponseWriter, r *http.Request) {imagename := r.URL.Query().Get("iamgename")if imagename == "" {fmt.Fprintln(w, "Please input image name and tag")return}// imagename := "public.ecr.aws/docker/library/busybox:uclibc"// get account idstssvc := sts.New(session.New(), aws.NewConfig().WithRegion("cn-north-1"))input := &sts.GetCallerIdentityInput{}stsresult, err := stssvc.GetCallerIdentity(input)if err != nil {fmt.Fprintln(w, "Can not get account id")log.Println("Can not get account id")return}accountid := *stsresult.Accountlog.Println("Your account is", accountid)ctx := context.Background()cli, err := client.NewClientWithOpts(client.WithVersion("1.41"))if err != nil {fmt.Fprintln(w, "Unable to create docker client")fmt.Println("Unable to create docker client")return}// list imagesimages, err := cli.ImageList(ctx, types.ImageListOptions{})if err != nil {fmt.Fprintln(w, "Unable to list images")return}for _, image := range images {if imagename == image.RepoTags[0] {fmt.Fprintln(w, "The image has existed on the host!")fmt.Fprintln(w, "The image name is", imagename)}}// pull imagepullReader, err := cli.ImagePull(ctx, imagename, types.ImagePullOptions{})if err != nil {panic(err)}defer pullReader.Close()io.Copy(w, pullReader)//tag imagearr := strings.Split(imagename, "/")arrlen := len(arr)tempstr := arr[arrlen-1]split := strings.Split(tempstr, ":")splen := len(split)var tag stringvar shortname stringif splen == 2 {shortname = split[0]tag = split[1]} else {shortname = split[0]tag = "latest"}tagimage := accountid + ".dkr.ecr.cn-north-1.amazonaws.com.cn/" + shortname + ":" + taglog.Println("The image name is", tagimage)cli.ImageTag(ctx, imagename, tagimage)// create repomySession := session.Must(session.NewSession())ecrsvc := ecr.New(mySession, aws.NewConfig().WithRegion("cn-north-1"))ecrinput := &ecr.CreateRepositoryInput{RepositoryName: aws.String(shortname),}ecrresult, err := ecrsvc.CreateRepository(ecrinput)if err != nil {if aerr, ok := err.(awserr.Error); ok {switch aerr.Code() {case ecr.ErrCodeRepositoryAlreadyExistsException:log.Println(ecr.ErrCodeRepositoryAlreadyExistsException, aerr.Error())default:log.Println(aerr.Error())}} else {log.Println(err.Error())}} else {log.Println("Success creating repo", ecrresult.Repository.RepositoryArn)}log.Println("The repo name is", accountid+".dkr.ecr.cn-north-1.amazonaws.com.cn/"+shortname)// push image// cmd := exec.Command("docker", "push", tagimage)cmd := exec.Command("docker", "push", tagimage)cmdout, cmderr := cmd.CombinedOutput()if cmderr != nil {fmt.Fprint(w, cmderr.Error())log.Printf("docker push failed with %s\n", cmderr)return}fmt.Fprint(w, string(cmdout))// log.Println(string(cmdout))// remove image_, removeerr := cli.ImageRemove(ctx, tagimage, types.ImageRemoveOptions{})if removeerr != nil {log.Println("Failed to remover image", err)}// return infofmt.Fprintln(w, "The image is successful pushed!")fmt.Fprintln(w, "The image name is", tagimage)fmt.Fprintln(w, "login with")fmt.Fprintf(w, "aws ecr get-login-password --region cn-north-1 | docker login --username AWS --password-stdin %s.dkr.ecr.cn-north-1.amazonaws.com.cn", accountid)
}

测试推送镜像，推送到默认凭证所在的账号下，可以通过sts查看

{"status":"Pulling from bitnami/envoy","id":"latest"}
{"status":"Digest: sha256:1848240b060c9bad9c34f76fc87830da317628e6f7809aede6e634afa74913dd"}
{"status":"Status: Image is up to date for public.ecr.aws/bitnami/envoy:latest"}
The push refers to repository [xxxxxxxxx.dkr.ecr.cn-north-1.amazonaws.com.cn/envoy]
afe7743db796: Preparing
afe7743db796: Pushed
latest: digest: sha256:d5199964f061f4c28606f3bc8d867b12cdbb5e67af9a58821a9dacf2abd903d8 size: 529
The image is successful pushed!
The image name is xxxxxxxxx.dkr.ecr.cn-north-1.amazonaws.com.cn/envoy:latest
login with
aws ecr get-login-password --region cn-north-1 | docker login --username AWS --password-stdin xxxxxxxxx.dkr.ecr.cn-north-1.amazonaws.com.cn

aws ecr 使用golang实现的简单镜像转换工具

https://pkg.go.dev/github.com/docker/docker/client#section-readme 通过golang实现一个简单的镜像下载工具总体步骤启动一台海外区域的ec2实例安装docker和awscli配置凭证访问国内ecr仓库编写web服务实现镜像转换和自动推送安装docker和awscli sudo yum remove awsc…...

编程日记 2023/2/27 10:06:30

1.重建二叉树class Solution { public:TreeNode* traversal(vector<int>& preorder,vector<int>& inorder){if(preorder.size()0) return NULL;int rootValuepreorder.front();TreeNode* rootnew TreeNode(rootValue);//int rootValuepreorder[0];if(preo…...

编程日记 2023/2/27 10:05:15

「JVM 高效并发」Java 线程

进程是资源分配（内存地址、文件 I/O 等）的基本单位，线程是执行调度（处理器资源调度）的基本单位； Loom 项目若成功为 Java 引入纤程（Fiber），则线程的执行调度单位可能变为…...

编程日记 2023/2/27 10:03:01

ADAS-可见光相机之Cmos Image Sensor

引言 “ 可见光相机在日常生活、工业生产、智能制造等应用有着重要的作用。在ADAS中更是扮演着重要的角色，如tesla model系列全车身10多个相机，不断感知周围世界。本文着重讲解下可见光相机中的CIS(CMOS Image Sensor)。” 定义光是一种电磁波&…...

编程日记 2023/2/27 10:01:49

【ESP 保姆级教程】玩转emqx MQTT篇③ ——封装 EmqxIoTSDK，快速在项目集成

忘记过去，超越自己 ❤️ 博客主页单片机菜鸟哥，一个野生非专业硬件IOT爱好者 ❤️❤️ 本篇创建记录 2023-02-26 ❤️❤️ 本篇更新记录 2023-02-26 ❤️🎉 欢迎关注 🔎点赞 👍收藏 ⭐️留言📝🙏 此博客均由博主单独编写，不存在任何商业团队运营，如发现错误，请…...

编程日记 2023/2/27 10:00:34

Python自动化测试面试题-编程篇

前言随着行业的发展，编程能力逐渐成为软件测试从业人员的一项基本能力。因此在笔试和面试中常常会有一定量的编码题，主要考察以下几点。基本编码能力及思维逻辑基本数据结构（顺序表、链表、队列、栈、二叉树）基本算法&#xf…...

编程日记 2023/2/27 9:59:24

CIT 594 Module 7 Programming AssignmentCSV Slicer

CIT 594 Module 7 Programming Assignment CSV Slicer In this assignment you will read files in a format known as “comma separated values” (CSV), interpret the formatting and output the content in the structure represented by the file. Q1703105484 Learning …...

编程日记 2023/2/27 9:58:11

链路追踪——【Brave】第一遍小结

前言微服务链路追踪系列博客，后续可能会涉及到Brave、Zipkin、Sleuth内容的梳理。 Brave 何为Brave？ github地址：https://github.com/openzipkin/brave Brave是一个分布式追踪埋点库。 #mermaid-svg-riwF9nbu1AldDJ7P {font-family:"…...

编程日记 2023/2/27 9:57:01

Vision Transformer（ViT）

1. 概述 Transformer[1]是Google在2017年提出的一种Seq2Seq结构的语言模型，在Transformer中首次使用Self-Atttention机制完全代替了基于RNN的模型结构，使得模型可以并行化训练，同时解决了在基于RNN模型中出现了长距离依赖问题，因…...

编程日记 2023/2/27 9:55:50

104-JVM优化

JVM优化为什么要学习JVM优化： 1：深入地理解 Java 这门语言我们常用的布尔型 Boolean，我们都知道它有两个值，true 和 false，但你们知道其实在运行时，Java 虚拟机是没有布尔型 Boolean 这种类型的&#x…...

编程日记 2023/2/27 9:54:31

QML 颜色表示法

作者：一去、二三里个人微信号： iwaleon 微信公众号：高效程序员如果你经常需要美化样式（最常见的有：文本色、背景色、边框色、阴影色等），那一定离不开颜色。而在 QML 中，颜色的表示方法有多种：颜色名、十六进制颜色值、颜色相关的函数，一起来学习一下吧。老规矩…...

编程日记 2023/2/27 9:53:19

基础数据结构--线段树(Python版本）

文章目录前言特点操作数据存储updateLazy下移查询实现前言月末了，划个水，赶一下指标（更新一些活跃值，狗头） 本文主要是关于线段树的内容。这个线段树的话，主要是适合求解我们一个数组的一些区间的问题&am…...

编程日记 2023/2/27 9:52:10

【micropython】SPI触摸屏开发

背景：最近买了几块ESP32模块，看了下mircopython支持还不错，所以买了个SPI触摸屏试试水，记录一下使用过程。硬件相关：SPI触摸屏使用2.4寸屏幕，常见淘宝均可买到，驱动为ILI9341，具体参…...

编程日记 2023/2/27 9:51:03

【云原生】k8s中Pod进阶资源限制与探针

一、Pod 进阶 1、资源限制当定义 Pod 时可以选择性地为每个容器设定所需要的资源数量。最常见的可设定资源是 CPU 和内存大小，以及其他类型的资源。当为 Pod 中的容器指定了 request 资源时，调度器就使用该信息来决定将 Pod 调度到哪个节点上。当还…...

编程日记 2023/2/27 9:49:53

AI - stable-diffusion(AI绘画)的搭建与使用

最近 AI 火的一塌糊涂，除了 ChatGPT 以外，AI 绘画领域也有很大的进步，以下几张图片都是 AI 绘制的，你能看出来么？ 一、环境搭建上面的效果图其实是使用了开源的 AI 绘画项目 stable-diffusion 绘制的，这是…...

编程日记 2023/2/27 9:48:44

应用场景五：西门子PLC通过Modbus协议连接DCS系统

应用描述： 西门子PLC（S7200/300/400/200SMART）通过桥接器可以支持ModbusRTU串口和ModbusTCP以太网（有线和无线WIFI同时支持）两种通讯方式连接DCS系统，不需要编程PLC通讯程序，直接在模块中进行地…...

编程日记 2023/2/27 9:47:35

我继续问了ChatGPT关于SAP顾问职业发展前景的问题，大家感受一下

目录 SAP 顾问跟其他IT工作收入情况相比是怎么样的？ 如何成为SAP FICO 优秀的顾问要想成为SAP FICO 优秀的顾问 ，需要ABA开发技能吗 SAP 顾问中哪个类型收入最多？ 中国的ERP软件能够取代SAP吗？ 今天我继续撩 ChatGPT。随便问…...

编程日记 2023/2/27 9:46:25

Python小白入门---00开篇介绍(简单了解一下)

Python 小白入门系列教程第一部分：Python 基础介绍 Python 编程语言安装 Python 环境变量和数据类型运算符和表达式控制流程语句函数和模块异常处理第二部分：Python 标准库和常用模块 Python 标准库简介文本处理和正则表达式文件操作和目录操作时…...

编程日记 2023/2/27 9:45:16

【算法基础】C++STL容器

一、Vector 1. 初始化（定义）（1）vector最基本的初始化： vector <int> a;（2）定义长度为10的vector： vector <int> a(10);（3）定义长度为10的vector，并且把所有元素都初始化为-3： vector <int...

编程日记 2023/2/27 9:44:09

【经典蓝牙】蓝牙 A2DP协议分析

A2DP 介绍 A2DP(Advanced Audio Distribution Profile)是蓝牙高音质音频传输协议， 用于传输单声道， 双声道音乐（一般在 A2DP 中用于 stereo 双声道） ， 典型应用为蓝牙耳机。 A2DP旨在通过蓝牙连接传输高质量的立体声音…...

编程日记 2023/2/27 9:42:59

Objective-C 构造方法的定义和声明规范

总目录 iOS开发笔记目录从一无所知到入门文章目录源码中 NSArray 的构造方法与命名规律自定义类的构造方法命名截图代码输出源码中 NSArray 的构造方法与命名规律 interface NSArray<ObjectType> (NSArrayCreation) (instancetype)array;(instancetype)arrayWithObject…...

编程日记 2023/2/27 9:41:48

Matlab图像处理学习笔记

Matlab图像处理 Matlab基础数组 1、向量生成方式1： x = [值] x = [1 2 3] % 行向量 y = [4; 5; 6] % 列向量 z = x % 行向量转列向量...

编程日记 2023/2/27 9:40:40

笔记（三）——迭代器的基础理论知识

迭代器是一种检查容器内元素并且遍历容器内元素的数据类型。它提供对一个容器中的对象的访问方法，并且定义了容器中对象的范围。一、vector容器的iterator类型vector容器的迭代器属于随机访问迭代器，一次可以移动多个位置。vector<int>::iterator …...

编程日记 2023/2/27 9:39:31

没有公网ip怎么外网访问nas？快解析内网端口映射到公网

对于NAS用户而言，外网访问是永远绕不开的话题。拥有NAS后的第一个问题，就是搞定NAS的外网访问。不过众所周知，并不是所有的小伙伴都能得到公网IP，由于IPV4资源的枯竭，一般不会被分配到公网IP。公网IP在很大程度上除了让…...

编程日记 2023/2/27 9:38:23

spring integration使用：消息转换器

系列文章目录 …TODO spring integration开篇：说明 …TODO spring integration使用：消息路由 spring integration使用：消息转换器 spring integration使用：消息转换器系列文章目录前言消息转换器（或者叫翻译器&#x…...

编程日记 2023/2/27 9:37:14

Vue3电商项目实战-商品详情模块7【21-商品详情-评价组件-头部渲染、22-商品详情-评价组件-实现列表】

文章目录21-商品详情-评价组件-头部渲染22-商品详情-评价组件-实现列表21-商品详情-评价组件-头部渲染目的：根据后台返回的评价信息渲染评价头部内容。 yapi 平台可提供模拟接口，当后台接口未开发完毕或者没有数据的情况下，可以支持前端的开…...

编程日记 2023/2/27 9:36:03

地址，指针，指针变量是什么？他们的区别？符号（*）在不同位置的解释？

指针是C语言中的一个重要概念，也是C语言的一个重要特色；使用指针，可以使程序简洁、紧凑、高效。不掌握指针，就没有掌握C语言的精华。目录一、定义 1.1地址 1.2指针 1.3指针变量 1.4指针和指针变量的区别二、使用指针变量…...

编程日记 2023/2/27 9:34:52

【MongoDB】一、MongoDB的安装与部署

【MongoDB】一、MongoDB的安装与部署实验目的实验内容实验步骤一、下载MongoDB安装包二、创建文件夹data及子文件夹db和log三、启动MongDB服务1. 在命令行窗口执行启动MongoDB服务命令2. 打开mongodb.log3. 打开浏览器进行启动验证四、登录MongoDB五、配置环境变量六、将MongDB…...

编程日记 2023/2/27 9:33:42

《爆肝整理》保姆级系列教程python接口自动化（二十三）--unittest断言——上（详解）

简介在测试用例中，执行完测试用例后，最后一步是判断测试结果是 pass 还是 fail，自动化测试脚本里面一般把这种生成测试结果的方法称为断言（assert）。用 unittest 组件测试用例的时候，断言的方法还是很多的…...

编程日记 2023/2/27 9:31:26

MySQL的mvcc

mvcc（多版本并发控制） MVCC 是通过数据行的多个版本管理来实现数据库的并发控制。使得在InnoDB的事务隔离级别下执行一致性读操作有了保证。可以认为是行级锁的变种，在很多情况下可以避免加锁，开销更低 mvcc没有正式的标准&…...

编程日记 2023/2/27 9:30:13

虎丘网站建设/优化方案怎么写

JPA是什么 Java Persistence API:用于对象持久化的API Java EE 5.0平台标准的ORM规范，使得应用程序以统一的方式访问持久层。 JPA和Hibernate的关系 JPA是Hibernate的一个抽象（就像JDBC和JDBC驱动的关系）： 1）JPA是规范…...

编程日记 2024/11/20 0:30:06

南昌高端网站定制/丁的老头seo博客

线程安全定义：Doug Lea 大佬说过如果多线程情况下使用这个类，无论多线程如何使用和调度这个类，这个类总是表示出正确的行为，这个类就是线程安全的。类的线程安全表现为：操作的原子性，类似数据库事务。内存的可见性，当前线程修改后其他线程立马可看到。不做正确的同…...

编程日记 2024/11/19 22:43:33

荆门做网站公司/淘宝seo搜索优化工具

上一讲数据结构之线性结构主要讲数组与链表。这期介绍数据结构中线性结构代表栈与队列，两者通过数组与链表构造出来。栈实际应用递归，计算机函数执行调用，数学问题如: 8皇后问题 , 汉诺塔, 阶乘问题, 迷宫问题等。队列实际应用消息中间件(如…...

编程日记 2024/11/19 21:49:53

网站被抄袭/推广软文平台

搭建好简单版本的feign客户端与服务端，本文基于简单版本进行扩展，支持客户端支持gzip。 1.修改配置文件开启gizp feign:client:config:default:connectTimeout: 5000readTimeout: 5000loggerLevel: basiccompression:request:enabled: true #开启gz…...

编程日记 2024/11/19 15:34:53

网站托管维护代运营/如何优化推广中的关键词

php获取文件扩展名/后缀名的代码。复制代码代码示例://取文件后缀名//by www.jbxue.com$file_name "jbxue.com.txt";echo get_exname($file_name);/*** 获取文件扩展名* param unknown_type $file_name* return $ex_name*/function get_exname($file_name){if(empt…...

编程日记 2024/11/19 15:27:44

微擎可以做网站吗/企业培训机构排名

Dubbo服务发布源码解析一. 服务发布概述 Dubbo服务发布影响流程的主要包括三个部分,依次是: 服务暴露;心跳;服务注册. 服务暴露是对外提供服务及暴露端口,以便消费端可以正常调用服务;心跳机制保证服务器端及客户端能够保持正常的长连接;服务注册是向注册中心注册服务暴露服…...

编程日记 2024/11/19 12:39:28

安装docker和awscli

配置ecr凭证助手

编写web服务

相关文章：