对象存储及其相关概念介绍
对象存储是一种用来描述解决和处理离散单元(这些离散单元被称作为对象)的方法的通用术语。以下是关于对象存储的详细解析:
一、基本概念
- 定义:对象存储,也叫做基于对象的存储,是一种将数据以对象的形式进行存储的技术。在对象存储中,每个对象都包含数据及其元数据,并具有唯一的标识符(如UUID),用于检索对象而无需知道数据的物理位置。
- 特点:对象存储提供了非结构化的数据存储方式,适用于存储如文档、文本、图片、音视频等非结构化数据。它还具有高度可靠性、高扩展性和高性能等优点。
二、基本原理
- 数据组织:在对象存储中,数据被分成一系列的块,每个块被包装成一个对象。每个对象都在一个被称作存储池的扁平地址空间的同一级别里,不再有层级结构。
- 元数据:除了数据块之外,对象存储还会将元数据(如对象的名称、大小、创建时间和修改时间等)存储在对象存储系统中。这些元数据在查询对象时可以大大加快访问速度。
- 唯一标识符:每个对象都被分配一个唯一的标识符(如UUID),允许服务器或最终用户通过该标识符来检索对象,而不必知道数据的物理地址。
三、技术优势
- 可扩展性:对象存储系统可以在任意时刻增加或减少存储节点,而不需要对整个存储系统进行重新配置。这使得对象存储能够轻松应对大规模数据存储的需求。
- 可靠性:对象存储使用冗余备份技术来保障数据的完整性和可靠性。每个数据块都会进行备份,如果有一个存储节点出现了问题,备份节点可以迅速取代它。
- 高性能:对象存储支持大型数据文件的存储和快速访问,适用于需要处理大量非结构化数据的应用场景。
四、应用场景
- 大数据分析:对象存储适用于存储和分析大规模数据集,支持大数据分析和机器学习等
- 云存储:云存储服务通常基于对象存储技术,允许用户通过Internet访问存储在云端的数据。
- 静态网站托管:对象存储可以用于托管静态网站,将网站的静态文件(如HTML、CSS、JavaScript、图像和视频等)存储在对象存储中,并通过CDN加速服务提供给用户。
- 多媒体存储和处理:对象存储适用于存储和处理大型多媒体文件,如音频和视频,确保多媒体文件的安全存储和快速访问。
- 数据备份和灾难恢复:对象存储提供了可靠的数据备份和灾难恢复解决方案,通过将数据复制到不同的存储区域或跨多个数据中心进行冗余存储,保护数据免受硬件故障、自然灾害或人为错误的影响。
五、常见对象存储服务
市场上存在多种对象存储服务,包括开源和非开源的服务。一些知名的对象存储服务包括:
- Ceph:一个高性能、可扩展的分布式存储系统。
- GlusterFS:一个开源的分布式文件系统,支持对象存储。
- Swift:OpenStack的一个组件,提供可扩展的对象存储服务。
- 阿里云OSS:阿里云提供的对象存储服务,具有高效可扩展性、安全可靠性和极低限制的特点。
- 腾讯云COS:腾讯云提供的对象存储服务,支持国内外多个国家和地区,具有良好的性能和强大的容灾能力。
综上所述,对象存储是一种高效、可靠、可扩展的数据存储方式,广泛应用于云计算、大数据分析、互联网、金融和医疗行业等领域。
六、杉岩对象存储桶
杉岩对象存储桶是杉岩数据提供的一种面向企业级海量非结构化数据的分布式对象存储解决方案。以下是对杉岩生产对象存储桶的详细介绍:
1、基本概念
- 对象存储:对象存储是一种用于存储非结构化数据的存储架构,如图片、视频、音频文件、文档等。它将数据以对象的形式存储,每个对象包含数据本身、元数据以及唯一标识符。
- 存储桶(Bucket):在对象存储系统中,存储桶是存储对象的容器,类似于文件系统中的文件夹或目录。用户可以在存储桶中创建、删除、修改对象,并对存储桶进行权限管理。
2、杉岩海量对象存储分布式QoS工作特性
分布式QoS特性是在分布式存储系统中,进行用户/桶级别的上限流控,允许给QoS调控对象(用户、桶)设置性能上限,包括TPS、带宽上限,从而确保QoS调控对象的性能不超过限值,保障关键业务的性能。
- 基于令牌桶的QoS控制IO流程
当数据流到达设备时,首先会根据数据的大小从令牌桶中取出与数据大小相当的令牌数量用来传输数据。如果令牌数量不够,则数据会被丢弃或缓存,这使得报文的流量只能小于等于令牌生成的速度,以达到限制流量的目的。
- 分布式令牌分配流程
如图所示,在多个对象网关(RGW)中,会有某个对象网关(RGW2)被选为主令牌桶角色,负责持续动态分配令牌到其他RGW,实现分布式协同控制。
子令牌桶所在对象网关会根据当前实际令牌消耗情况,动态向主令牌桶所在对象网关请求更新令牌数量,如果剩余令牌数量为0,则会阻塞相关IO请求,等待分配新的令牌。
主令牌桶所在对象网关除了同样按照分配的令牌数量响应S3请求,还负责动态感知全局令牌分配情况,负责全局协调,将可用令牌发放给需要的子令牌网关。
3、杉岩对象存储桶的特点
- 高性能:
- 杉岩生产对象存储桶采用分布式架构,具备高并发、低延迟的特点,能够满足企业对海量数据快速存取的需求。
- 支持全局分布式QoS(Quality of Service)特性,可以有效限制非核心业务流量,保障核心业务服务质量。
- 高可扩展性:
- 杉岩生产对象存储桶支持动态扩展,随着数据量的增长,可以无缝添加新的存储节点,以满足企业的扩展需求。
- 节点之间通过高速网络互联,实现数据的快速复制和均衡分布。
- 高可靠性:
- 采用多副本机制,确保数据在多个节点上冗余存储,提高数据的可靠性和可用性。
- 支持跨地域实时同步,实现异地容灾,保障数据在灾难情况下的安全。
- 丰富的数据管理能力:
- 支持数据的生命周期管理,用户可以根据业务需求设置数据的存储、迁移、归档、删除等策略。
- 支持基于对象标签的过滤和共享,实现数据的精细化管理和共享控制。
- 易用性:
- 提供直观的管理控制台,用户可以方便地查看存储桶的状态、监控性能、管理权限等。
- 支持多种接口协议,如S3、FTP等,方便与各种业务应用集成。
- 安全性:
- 提供全面的安全策略,包括访问控制、数据加密、安全审计等,确保数据的安全性和隐私性。
- 支持对接Elastic Search等第三方工具时使用账号密码认证,提高系统安全性。
4、应用场景
杉岩生产对象存储桶广泛应用于能源、金融、医疗、制造业等多个行业领域,特别适用于存储海量非结构化数据的企业。例如,在广汽丰田的数据存储变革中,杉岩对象存储就发挥了重要作用,提升了数据安全性、优化了数据管理效率、加速了数据处理速度,并满足了法规遵从的要求。
综上所述,杉岩生产对象存储桶是一款功能强大、灵活可靠的企业级对象存储解决方案,能够满足企业对于海量非结构化数据的存储、管理和利用需求。
七、对象存储工具
1、下载S3 Browser工具
Download S3 Browser. Amazon S3 Client. Windows Client for Amazon S3.https://s3browser.com/download.aspx
2、创建项目登录
(已添加防火墙策略仅通过公司内网访问,无需相关加密)
相关文章:

对象存储及其相关概念介绍
对象存储是一种用来描述解决和处理离散单元(这些离散单元被称作为对象)的方法的通用术语。以下是关于对象存储的详细解析: 一、基本概念 定义:对象存储,也叫做基于对象的存储,是一种将数据以对象的形式进…...

TypeScript 研发系列
#TypeScript 编写HTML 游戏...

三维世界,一图打尽!Matplotlib带你玩转3D绘图,让数据跳舞的魔法棒!
1. 引言 嘿,亲爱的数据探险家们!你们是否曾梦想过,在二维的屏幕上,让数据跳出束缚,翩翩起舞,展现它那迷人的三维身姿?今天,就让我这位自封的‘数据魔术师’,带你解锁Mat…...

计算机常识与NOIP历史-CSP初赛知识点整理
真题练习 [2021-CSP-J-第2题] 以下奖项与计算机领域最相关的是( )。 A.奥斯卡奖 B.图灵奖 C.诺贝尔奖 D.普利策奖 [2017-NOIP-第7题] 中国计算机学会于( )年创办全国青少年计算机程序设计竞赛。 A. 1983 B. 1984 C. 1985 D. 1986 [2018-NOIP-第5题…...

代码随想录算法训练营第二天 | 209. 长度最小的子数组、59. 螺旋矩阵 II
目录 209. 长度最小的子数组1、题目描述2、思路3、code4、复杂度分析 LC59 螺旋矩阵 II1、题目描述2、思路3、code4、复杂度分析 209. 长度最小的子数组 题目链接:209 1、题目描述 给定一个含有 n 个正整数的数组和一个正整数 target 。找出该数组中满足其总和大于…...

鼻咽癌综述
小罗碎碎念 本期推文主题:鼻咽癌综述 这篇文章提供了一个全面的综述,探讨了鼻咽癌(NPC)的关键研究进展,包括病理机制、治疗、筛查和生物标志物的发展。 文章首先强调了NPC在特定地理区域的流行情况,并讨论了…...

中国AI PC行业研究报告
核心摘要: 2020-2023年中国笔电出货量呈下降趋势,PC厂商亟需从产品形态、软硬技术、需求场景等角度寻求新的增长机会。而随着大模型、生成式AI技术的到来,其强大的数据处理、学习泛化与内容生成能力,高质效加速了各行各业人工智能…...

Mybatis实战:图书管理系统(笔记)
前言:如果在接口的声明方法中鼠标右键没有Test的单元测试。 你的鼠标光标问题:要在花括号范围内!!!! 数据库表是应⽤程序开发中的⼀个重要环节, 数据库表的设计往往会决定我们的应⽤需求是否能顺利实现, 甚…...

win11 amd64 python安装matplotlib、pytorch报错记录
win11 amd64 python matplotlib 安装报错记录 安装时 错误是 metadata-generation-failed 查看上面的具体报错原因,来自: Files\Python\Python3_10_11\Include: linker input file not found: No such file or director注意Python 的路径中最好不要有…...

Python写UI自动化--playwright(等待页面加载机制)
很多情况下,我们都需要等待页面加载到一定程度才能进行下一步操作,而这个度该怎么操作,这篇文章就来详细讲一讲 目录 expect_popup() wait_until参数 "load" commit: "domcontentloaded" "networkidle"…...

书籍将整数字符串转成整数值(5)0804
题目 给定一个字符串str,如果str符合日常书写的整数形式,并且属于32位整数的范围,返回str所代表的整数值,否则返回0。 举例 str“123” 返回 123 str“023” 因为023 不符合日常的书写习惯,所以返回0 str“A13” …...

【2024年华数杯C题老外游中国】(完整题解+代码+完整参考论文)
请问 352 个城市中所有 35200 个景点评分的最高分(Best Score,简称 BS)是多少?全国有多少个景点获评了这个最高评分(BS)?获评了这个最高评分(BS)景点最多的城市有哪些&am…...

全球氢化双酚A (HBPA)市场规划预测:2030年市场规模将接近1330亿元,未来六年CAGR为2.7%
一、引言 随着全球化工行业的持续发展,氢化双酚A (HBPA)作为重要的化工原料,其市场重要性日益凸显。本文旨在探索HBPA行业的发展趋势、潜在商机及其未来展望。 二、市场趋势 全球HBPA市场的增长主要受全球化工行业增加、消费者对高性能化工产品要求提高…...

【C++】异常处理:深度解析与实战精髓,不容错过的编程秘籍
🌈 个人主页:Zfox_ 🔥 系列专栏:C从入门到精通 目录 🚀 前言:C语言传统的处理错误的方式 一: 🔥 C异常概念二: 🔥 异常的使用 2.1 📖 异常的抛出和…...

智能指针的循环引用 是什么 怎么引起的
智能指针的循环引用 是什么 怎么引起的 智能指针的循环引用(Circular Reference)是指两个或多个对象之间的共享指针相互引用,导致这些对象永远不会被释放,从而引发内存泄露。主要发生在使用std::shared_ptr时,因为它们…...

Stegdetect教程:如何用Stegdetect检测和破解JPG图像隐写信息
一、Stegdetect简介 Stegdetect 是一个开源工具,专门设计用于检测图像文件(JPG格式)中的隐写信息。Stegdetect 可以检测多种常见的隐写方法,比如 JSteg、JPHide 和 OutGuess 等。 二、使用Stegdetect检测图像隐写 官方描述&#…...

Co-Detr
参考:https://www.bilibili.com/video/BV1Sh4y1F7ur/?spm_id_from333.788&vd_source156234c72054035c149dcb072202e6be 之前的detr正样本数量少,匹配不平衡。 主要修改两个地方:encoder和decoder。 1.在encoder之后加入RPN,a…...

校园选课助手【1】-项目整体架构从此开始
项目背景 随着高校招生规模的不断扩大,学生选课需求日益增长。为提高选课效率,降低学生选课压力,本项目旨在开发一款校园选课助手软件。 项目目标:开发一款具有以下特点的校园选课助手软件: 易用性:界面简洁ÿ…...

椭圆曲线加法运算
1. 定义 椭圆曲线 (Elliptic Curve) 不是函数,而是一条平面曲线,其方程是定义如下: y 2 x 3 a x b y^2x^3axb y2x3axb 其中,判别式 Δ − 16 ( 4 a 3 27 b 2 ) ≠ 0 \Delta -16(4a^327b^2)\neq 0 Δ−16(4a327b2)0。判别…...

(STM32笔记)九、RCC时钟树与时钟 第一部分
我用的是正点的STM32F103来进行学习,板子和教程是野火的指南者。 之后的这个系列笔记开头未标明的话,用的也是这个板子和教程。 九、RCC时钟树与时钟 九、RCC时钟树与时钟1、时钟树HSE时钟HSI时钟锁相环时钟系统时钟HCLK时钟PCLK1时钟PCLK2时钟RTC时钟独…...

fastjson-流程分析
参考视频:fasfjson反序列化漏洞1-流程分析 分析版本 fastjson1.2.24 JDK 8u65 分析过程 新建Person类 public class Person {private String name;private int age;public Person() {System.out.println("constructor_0");}public Person(String na…...

Linux 命令安装
系列文章目录 提示:仅用于个人学习,进行查漏补缺使用。 1.Linux介绍、目录结构、文件基本属性、Shell 2.Linux常用命令 3.Linux文件管理 4.Linux 命令安装 提示:写完文章后,目录可以自动生成,如何生成可参考右边的帮助…...

清华和字节联合推出的视频理解大模型video-SALMONN(ICML 2024)
video-SALMONN: Speech-Enhanced Audio-Visual Large Language Models 论文信息 paper:https://arxiv.org/abs/2406.15704 code:https://github.com/bytedance/SALMONN/ AI也会「刷抖音」!清华领衔发布短视频全模态理解新模型 | ICML 2024 …...

从数据爬取到可视化展示:Flask框架与ECharts深度解析
目录 🔹 Flask框架源码解析 Flask应用初始化路由与视图函数请求与响应中间件 🔹 ECharts可视化精讲 ECharts安装与配置基本图表类型图表样式与交互高级图表配置与数据动态更新实战:结合Flask与ECharts展示爬取数据 Flask框架源码解析 &…...

【jvm】类加载分几步
目录 1. 加载(Loading)2. 链接(Linking)2.1 验证(Verification)2.2 准备(Preparation)2.3 解析(Resolution) 3. 初始化(Initialization࿰…...

使用Apache http client发送json数据(demo)
POM依赖 : <dependency><groupId>org.apache.httpcomponents</groupId><artifactId>httpclient</artifactId><version>4.5.12</version></dependency><dependency><groupId>com.alibaba</groupId&g…...

读零信任网络:在不可信网络中构建安全系统07设备信任
1. 设备信任 1.1. 在零信任网络中建立设备信任至关重要,这也是非常困难的一个环节 1.2. 建立设备信任是基石,直接影响零信任网络架构的成败 1.3. 大多数网络安全事件都和攻击者获得信任设备的控制权相关,这种情况一旦发生,信任…...

【Java算法专场】前缀和(下)
目录 和为 K 的子数组 算法分析 算法步骤 算法代码 算法示例 和可被 K 整除的子数组 算法分析 同余定理 负数取余 算法步骤 算法代码 算法示例 连续数组 算法分析 算法步骤 算法代码 算法示例 矩阵区域和 算法分析 算法步骤 算法代码 算法示例 算法分析 …...

音视频相关文章总目录
为了方便各位观看,本文置顶,以目录形式汇集我写过的大部分音视频专题文章。之后文章更新,本目录也会同步更新。写得不好和零零散散的文章就不放在这里了😅 : 音视频入门基础:像素格式专题系列文章&#x…...

7月31日MySQL学习笔记
今日内容: mysql: 行列转换 数据类型 函数 触发器 存储过程 事务 索引(还没讲) 三范式 JDBC连接数据库的6个步骤 三握四挥 行列转换 第一步 新建要转换的列 select name, 1 as 语文, 1 as 数学, 1 as 英语 from t_score GROUP BY name 第二步 对每一列填入值…...