当前位置: 首页 > news >正文

利用Rclone将阿里云对象存储迁移至雨云对象存储的教程,对象存储数据迁移教程

使用Rclone将阿里云对象存储(OSS)的文件全部迁移至雨云对象存储(ROS)的教程,其他的对象存储也可以参照本教程。

Rclone简介

Rclone 是一个用于和同步云平台同步文件和目录命令行工具。采用 Go 语言开发。

它允许在文件系统和云存储服务之间或在多个云存储服务之间访问和同步文件,它具有单向同步功能,使目录完全相同,它具有加密、缓存和联合后端,支持 Fuse 安装,并且可以通过 HTTP、WebDAV、FTP、SFTP 或 DLNA 服务本地或远程文件。

它支持超过 40 种不同的云存储服务,包括 Amazon S3, Google Drive, Dropbox, Microsoft OneDrive, Google Cloud Storage, Amazon Drive, OpenStack Swift, Backblaze B2, Yandex Disk, SFTP, WebDAV, FTP, SFTP, Minio, Wasabi, Alibaba OSS, SwiftStack, Tencent COS, Wasabi, Yandex.Disk, Yandex.Files等等。

rclone 支持多种文件传输方式,包括复制,同步,移动,删除文件。它还支持文件加密和压缩,支持分块上传和分块下载,可以暂停和恢复传输,支持文件的校验和合并。

rclone 的主要优势在于它的灵活性和可扩展性。它可以用来做很多事情,包括备份,文件同步,数据迁移等。它可以在各种平台上运行,包括 Windows,macOS,Linux,FreeBSD,NetBSD 等。

rclone 的配置简单,可以使用命令行或者配置文件来配置。使用 rclone 可以非常方便的操作云存储,支持的命令也非常丰富,使用起来非常方便。

简单来讲,主要的功能如下:

  • 将文件备份(和加密)到云存储
  • 从云存储还原(和解密)文件
  • 将云数据镜像到其他云服务或本地
  • 将数据迁移到云,或在云存储供应商之间迁移
  • 将多个、加密、缓存或不同的云存储挂载为磁盘
  • 使用 lsf、ljson、size、ncdu 分析和核算云存储上保存的数据
  • 将文件系统合并在一起,将多个本地和/或云文件系统呈现为一个

准备

注册账号并创建存储桶

首先需要注册个雨云账号并新建一个存储桶。

雨云优惠注册地址:https://www.rainyun.com/zeruns_?s=csdn

优惠码:zeruns

使用优惠码注册后绑定微信可获得5折优惠券

雨云账号注册&云服务器购买和使用教程:https://www.bilibili.com/video/BV1Kj411x7G6/

存储桶创建教程可以参考这篇文章:https://blog.zeruns.tech/archives/743.html

下载安装Rclone

Rclone官方下载地址:https://rclone.org/downloads/

window版雨云对象存储下载地址:https://cn-sy1.rains3.com/rainyun-assets/Pic/2023/12/rclone-v1.65.0-windows-amd64_f23f79a27f93b504a2c9b4938c376e6e.zip

本篇教程用windows版,如果你会Linux也可以用Linux,rclone指令都是一样的。

将下载的windows版压缩包解压到你要安装的目录,然后将这个目录路径添加到系统环境变量中,如下图所示。

然后打开CMD,输入命令 rclone --version 来看看有没有安装成功,出现如下图信息就是成功了。

如果不行也可以使用cd命令进入到这个目录,然后用 ./rclone --version 命令

Rclone常见命令

rclone config - 以控制会话的形式添加rclone的配置,配置保存在.rclone.conf文件中。
rclone copy - 将文件从源复制到目的地址,跳过已复制完成的。
rclone sync - 将源数据同步到目的地址,只更新目的地址的数据。
rclone move - 将源数据移动到目的地址。
rclone delete - 删除指定路径下的文件内容。
rclone purge - 清空指定路径下所有文件数据。
rclone mkdir - 创建一个新目录。
rclone rmdir - 删除空目录。
rclone check - 检查源和目的地址数据是否匹配。
rclone ls - 列出指定路径下所有的文件以及文件大小和路径。
rclone lsd - 列出指定路径下所有的目录/容器/桶。
rclone lsl - 列出指定路径下所有文件以及修改时间、文件大小和路径。
rclone md5sum - 为指定路径下的所有文件产生一个md5sum文件。
rclone sha1sum - 为指定路径下的所有文件产生一个sha1sum文件。
rclone size - 获取指定路径下,文件内容的总大小。.
rclone version - 查看当前版本。
rclone cleanup - 清空remote。
rclone dedupe - 交互式查找重复文件,进行删除/重命名操作。

配置对象存储

查看雨云对象存储的信息,还有要迁移的对象存储的信息。

配置雨云对象存储ROS

在CMD输入命令 rclone config 来进入交互式配置选项,进行添加、删除、管理对象存储等操作。

然后输入n来新建一个存储,按照提示输入雨云对象存储的信息。

首先时输入存储名,这里可以自己设置一个,我输入ROS

选择存储类型,雨云是兼容S3协议的,所以选择5 / Amazon S3,输入序号5

选择服务商,这里选择其他31 / Any other S3 compatible provider,输入序号31

接着是设置认证方式,其中的env_auth选项用于指定从哪里获取AWS凭证(Access Key ID和Secret Access Key),这里选择第一个手动输入,输入序号1

然后设置Access Key IDSecret Access Key,输入雨云控制台显示的Access Key和Secret Key

  • region> :输入序号1
  • endpoint> :输入雨云对象存储控制台显示的API端点地址,将地址后面的存储桶名称去掉,例如https://cn-sy1.rains3.com
  • location_constraint> :留空,直接回车

acl> :输入序号1

  • 是否编辑高级配置,输入n表示否
  • 确认信息有没有错,输入y表示没错
  • 最后输入q退出编辑

验证一下有没有添加成功,信息有没有错,先在雨云对象存储的存储桶上上传个文件,然后在CMD输入命令 rclone ls ROS:zeruns-test2 来列出存储桶的目录和文件,如果有你上传的文件就表示成功了,命令中的ROS替换成你上面设置存储名时输入的,zeruns-test2替换成你自己的存储桶名称。

配置阿里云OSS

在CMD输入命令 rclone config 来进入交互式配置选项。

然后输入n来新建一个存储,按照提示输入阿里云对象存储的信息。

首先时输入存储名,这里可以自己设置一个,我输入OSS

选择存储类型,阿里云是兼容S3协议的,所以选择5 / Amazon S3,输入序号5

选择服务商,这里选择阿里云2 / Alibaba Cloud Object Storage System (OSS) formerly Aliyun,输入序号2

接着是设置认证方式,其中的env_auth选项用于指定从哪里获取AWS凭证(Access Key ID和Secret Access Key),这里选择第一个手动输入,输入序号1

然后设置Access Key IDSecret Access Key,输入从阿里云控制台获取的AccessKey ID和AccessKey Secret。

选择对象存储endpoint,我创建的阿里云OSS区域选的是华北6(乌兰察布),所以选择9 / North China 6 (Ulanqab),输入序号9,你们根据自己实际情况选。也可以手动输入阿里云控制台显示的Endpoint(地域节点)

acl> :输入序号1

  • 选择存储类型,我创建OSS存储桶(Bucket)时选的是标准存储,所以输入序号2,选项1是默认,选项3是归档存储,选项4是低频访问存储.
  • 是否编辑高级配置,输入n表示否
  • 确认信息有没有错,输入y表示没错
  • 最后输入q退出编辑

验证一下有没有添加成功,信息有没有错,先在阿里云对象存储的存储桶上上传个文件,然后在CMD输入命令 rclone ls OSS:zeruns-alioss 来列出存储桶的目录和文件,如果有你上传的文件就表示成功了,命令中的OSS替换成你上面设置存储名时输入的,zeruns-alioss替换成你自己的存储桶名称。

迁移数据

在CMD输入下面的命令将数据从阿里云OSS同步到雨云ROS

rclone sync OSS:zeruns-alioss ROS:zeruns-test2 --progress
# 命令格式:rclone sync 源(配置文件名称): 源数据Bucket  目标源名称:目标bucket (这句是注释,不用输入)

上面命令中的OSS替换成你上面设置阿里云OSS时输入存储名的,zeruns-alioss替换成你自己的阿里云OSS存储桶名称,ROS替换成你上面设置雨云对象存储时输入存储名的,zeruns-test2替换成你自己的雨云ROS存储桶名称。

等待同步完成即可在雨云对象存储控制台看到文件已经同步过来了。

你也可以使用这个工具将本地文件夹同步到对象存储里。

教程到此结束了。

推荐阅读

  • 雨云服务器快速搭建Cloudreve网盘网站并挂载雨云对象存储的教程:https://blog.zeruns.tech/archives/743.html
  • PicGo+雨云ROS搭建自己的图床,可配合Typora使用:https://blog.zeruns.tech/archives/734.html
  • 雨云游戏云MCSM面板服使用&我的世界Forge服务端开服教程:https://blog.zeruns.tech/archives/736.html
  • 雨云虚拟主机使用教程&WordPress博客网站搭建教程:https://blog.zeruns.tech/archives/737.html
  • 雨云游戏云VPS搭建MCSM面板和我的世界Paper服务器教程:https://blog.zeruns.tech/archives/738.html
  • 雨云服务器搭建内网穿透服务器教程,NPS搭建和使用教程:https://blog.zeruns.tech/archives/741.html
  • 高性价比和便宜的VPS/云服务器推荐: https://blog.zeruns.tech/archives/383.html

相关文章:

利用Rclone将阿里云对象存储迁移至雨云对象存储的教程,对象存储数据迁移教程

使用Rclone将阿里云对象存储(OSS)的文件全部迁移至雨云对象存储(ROS)的教程,其他的对象存储也可以参照本教程。 Rclone简介 Rclone 是一个用于和同步云平台同步文件和目录命令行工具。采用 Go 语言开发。 它允许在文件系统和云存储服务之间或在多个云存储服务之间…...

二叉树的前序遍历

问题描述: 给你二叉树的根节点root,返回节点值的前序遍历。 示例 1: 输入:root [1,null,2,3] 输出:[1,2,3]示例 2: 输入:root [] 输出:[]示例 3: 输入:ro…...

final的安全发布

final的安全发布 两个关键字“发布”“安全” 所谓发布通俗一点的理解就是创建一个对象,使这个对象能被当前范围之外的代码所使用 比如Object o new Object(); 然后接下来使用对象o 但是对于普通变量的创建,之前分析过,大致分为三个步骤&am…...

3易懂AI深度学习算法:长短期记忆网络(Long Short-Term Memory, LSTM)生成对抗网络 优化算法进化算法

继续写:https://blog.csdn.net/chenhao0568/article/details/134920391?spm1001.2014.3001.5502 1.https://blog.csdn.net/chenhao0568/article/details/134931993?spm1001.2014.3001.5502 2.https://blog.csdn.net/chenhao0568/article/details/134932800?spm10…...

云计算 云原生

一、引言 云计算需要终端把信息上传到服务器,服务器处理后再返回给终端。在之前人手一台手机的情况下,云计算还是能handle得过来的。但是随着物联网的发展,什么东西都要联网,那数据可就多了去了,服务器处理不过来&…...

深拷贝、浅拷贝 react的“不可变值”

知识获取源–晨哥(现实中的人 嘿嘿) react中如果你想让一个值始终不变 或者说其他操作不影响该值 它只是作用初始化的时候 使用了浅拷贝–改变了初始值 会改变初始值(selectList1) 都指向同一个地址 const selectList1 { title: 大大, value: 1 };con…...

赛宁网安多领域亮相第三届网络空间内生安全发展大会

2023年12月8日,第三届网络空间内生安全发展大会在宁开幕。两院院士、杰出专家学者和知名企业家相聚南京,围绕数字经济新生态、网络安全新范式进行广泛研讨,为筑牢数字安全底座贡献智慧和力量。 大会围绕“一会、一赛、一展”举办了丰富多彩的…...

LintCode 123 · Word Search (DFS字符处理经典题!)

123 Word Search Algorithms Medium Description Given a 2D board and a string word, find if the string word exists in the grid. The string word can be constructed from letters of sequentially adjacent cell, where “adjacent” cells are those horizontally o…...

SpringCloud面试题——Sentinel

一:什么是Sentinel? Sentinel是一个面向分布式架构的轻量级服务保护框架,实现服务降级、服务熔断、服务限流等功能 二:什么是服务降级? 比如当某个服务繁忙,不能让客户端的请求一直等待,应该立刻返回给客户端一个备…...

【精选】 VulnHub (超详细解题过程)

🍬 博主介绍👨‍🎓 博主介绍:大家好,我是 hacker-routing ,很高兴认识大家~ ✨主攻领域:【渗透领域】【应急响应】 【python】 【VulnHub靶场复现】【面试分析】 🎉点赞➕评论➕收藏…...

数据结构与算法-Rust 版读书笔记-2线性数据结构-队列

数据结构与算法-Rust 版读书笔记-2线性数据结构-队列 1、队列:先进先出 队列是项的有序集合,其中,添加新项的一端称为队尾,移除项的另一端称为队首。一个元素在从队尾进入队列后,就会一直向队首移动,直到…...

Android Kotlin Viewbinding封装

目录 Viewbinding配置 Activity封装 Activity使用 Fragment封装 Fragment使用 Dialog封装 Dialog使用 Viewbinding配置 android { viewBinding { enabled true } } Activity封装 import android.os.Bundle import android.view.LayoutInflater import androidx.ap…...

Flutter:web项目跨域问题解决

前后端解决系列 文章目录 一、Flutter web客户端解决本地环境调试跨域问题二、Flutter web客户端解决线上环境跨域问题 一、Flutter web客户端解决本地环境调试跨域问题 就一句命令【--web-browser-flag "--disable-web-security"】,用来屏蔽浏览器域名请…...

汽车标定技术(十二)--A2L文件生成的方法

目录 1.工具生成 1.1 CANape/ASAP2 Studio 1.2 ASAP2ToolKit 1.3 Matlab/Simulink 2.手写A2L要点 3.小结 A2L文件的制作一直以来是一个很少有人关注的方向,不管是标定工程师还是Slave协议栈的开...

《PySpark大数据分析实战》-03.了解Hive

📋 博主简介 💖 作者简介:大家好,我是wux_labs。😜 热衷于各种主流技术,热爱数据科学、机器学习、云计算、人工智能。 通过了TiDB数据库专员(PCTA)、TiDB数据库专家(PCTP…...

经验分享|MySQL分区实战(RANGE)

概述 分区概述 在 MySQL 中, InnoDB存储引擎长期以来一直支持表空间的概念。在 MySQL 8.0 中,同一个分区表的所有分区必须使用相同的存储引擎。但是,也可以为同一 MySQL 服务器甚至同一数据库中的不同分区表使用不同的存储引擎。 通俗地讲…...

Arrays.asList() 和 Collections.singletonList()

Arrays.asList() 和 Collections.singletonList() 概述 List 是我们使用Java时常用的集合类型。众所周知,我们可以轻松地在一行中初始化列表。例如,当我们想要初始化一个只有一个元素的List时,我们可以使用Arrays.asList(&#…...

Firmware Analysis Plus (Fap)固件模拟安装教程(最新)

最近在搞IoT的研究,但是难在设备比较难弄,只有固件,而没有设备,买吧,又太费钱,不划算。好在有很多项目可以在模拟环境中运行固件。但是几乎没有一个平台能够模拟所有硬件设备。IoT产品的架构也不尽相同。 …...

使用包、Crate 和模块管理项目(上)

目录 1、包和Crate 2、定义模块来控制作用域与私有性 2.1 在模块中对相关代码进行分组 3、引用模块项目的路径 3.1 使用 pub 关键字暴露路径 二进制和库 crate 包的最佳实践 3.2 super 开始的相对路径 3.3 创建公有的结构体和枚举 Rust 有许多功能可以让你管理代码的组…...

【Kotlin】

Lambda 就是一小段可以作为参数传递的代码。 因为正常情况下,我们向某个函数传参时只能传入变量,而借助Lambda 却允许传入一小段代码。 Lambda 表达式的语法结构: {参数名1: 参数类型, 参数名2: 参数类型 -> 函数体}首先,最外…...

JavaDay17

创建不可变集合 import java.util.Iterator; import java.util.List;public class Test {public static void main(String[] args) {/*创建不可变的List集合* "张三" "李四" "王五" "赵六*///一旦创建之后 是无法进行修改的 在下面的代码…...

Python爬取酷我音乐

🎈 博主:一只程序猿子 🎈 博客主页:一只程序猿子 博客主页 🎈 个人介绍:爱好(bushi)编程! 🎈 创作不易:喜欢的话麻烦您点个👍和⭐! 🎈…...

项目实战第四十七讲:易宝支付对接详解(保姆级教程)

易宝支付对接(保姆级教程) 为了实现项目的支付需求,公司选择了易宝支付进行对接,本文是项目实战第四十七讲,详解易宝支付对接。 文章目录 易宝支付对接(保姆级教程)1、需求背景2、流程图3、技术方案4、相关接口4.1、入驻相关(商户入网)4.2、账户相关接口(充值、提现、…...

python的websocket方法教程

WebSocket是一种网络通信协议,它在单个TCP连接上提供全双工的通信信道。在本篇文章中,我们将探讨如何在Python中使用WebSocket实现实时通信。 websockets是Python中最常用的网络库之一,也是websocket协议的Python实现。它不仅作为基础组件在…...

Qt处理焦点事件(获得焦点,失去焦点)

背景: 我只是想处理焦点动作,由于懒,上网一搜,排名靠前的一位朋友,使用重写部件的方式实现。还是因为懒,所以感觉复杂了。于是又花了一分钟解决了一下。 所以记录下来,以免以后忘了。 思路&a…...

SiteGround如何设置WordPress网站自动更新

SiteGround Autoupdate功能会自动帮我们更新在他们这里托管的所有WordPress网站,这样做是为了保证网站安全,并且让它们一直保持最新状态。他们会根据我们选择的设置自动更新不同版本的WordPress,包括主要版本和次要版本。在每次自动更新之前&…...

http代理和SOCK5代理谁更安全?

在这个网络化的时代,我们常常听到HTTP代理和SOCKS5代理这两个名词,不过很多人并不了解是什么意思。今天,我们将揭开这两种代理的神秘面纱,看看到底HTTP代理和SOCKS5代理哪个更安全? HTTP代理:高效通信的“枢…...

Kotlin关键字二——constructor和init

在关键字一——var和val中最后提到了构造函数,这里就学习下构造函数相关的关键字: constructor和init。 主要构造(primary constructor) kotlin和java一样,在定义类时就自动生成了无参构造 // 会生成默认的无参构造函数 class Person{ }与java不同的是…...

java的long类型超过9位报错:the literal 987654321000 of type int is out of range

java的long类型超过9位报错 1、报错提示2、报错截图3、解决办法4、参考文章 1、报错提示 the literal 987654321000 of type int is out of range 2、报错截图 3、解决办法 long类型是一种用于表示较大整数的数据类型,范围比int类型更广泛。然而,即使…...

【Java期末复习资料】(4)模拟卷

有不会的题可以后台问我的哦,看见了就会回。 本文章主要是模拟卷,知识点例题简答题已经发过了,可以在主页专栏Java中找一下 一、单项选择题 1. 编译 Java Application 源程序文件将产生相应的字节码文件,这些字节码文件的扩展名为…...