科技云报道:分布式存储红海中,看天翼云HBlock如何突围?
科技云报道原创。
过去十年,随着技术的颠覆性创新和新应用场景的大量涌现,企业IT架构出现了稳态和敏态的混合化趋势。
在持续产生海量数据的同时,这些新应用、新场景在基础设施层也普遍基于敏态的分布式架构构建,从而对存储技术提出了新的要求。
正因如此,分布式存储凭借高安全性、可靠性、可用性、易于扩展等特性,在敏态业务中得到了快速发展。短短几年内,国内分布式存储增长率节节攀升,市场规模不断扩大。
中国信通院调查数据显示,2021年中国分布式存储市场规模达到178亿元,年增速44%;预计未来三年,市场仍将保持40%以上的增长率。
尽管市场上的分布式存储产品和解决方案层出不穷,但如何提高企业存储资源利用率,既要“存得下”,又要“读得快”,还要“成本低”,其实是一件非常不容易的事情。
在天翼云最新发布的存储资源盘活系统HBlock中,我们看到了分布式存储的新“解题思路”。
企业“沉睡” 存储亟待“盘活”
随着业务的发展,企业不断采购服务器进行现有业务系统更新以及新业务系统搭建。为了满足系统性能和升级扩容等要求,企业一般购买超过实际数据容量需求3-4倍的磁盘,不可避免会造成资源闲置。
《计算机世界》的一篇文章曾指出“数据中心30%的物理服务器处于沉睡状态”。麦肯锡公司发布研究也表明,有高达30%的数据中心服务器“功能失效”。由此可见,优化“沉睡”的服务器将会给企业带来巨大收益。
目前,国内外企业普遍存在大量的利旧服务器需求,但是经常会面临异构硬件难兼容、旧型号设备与软件不适配、弱电弱网等混沌环境带来的不稳定和降速问题。
在实际方案设计中,存储盘活效果也并不理想。究其根本,主要有异构存储和数据孤岛两大原因:
在企业IT系统中,存储设备往往来自不同供应商,这意味着不同的底层架构、不同的管理界面、功能、性能以及运维升级的操作都会有很大的差别。一旦存储升级,就必须找到相应的供应商进行操作,因此企业很容易被供应商所绑定。
同时,由于存储设备来自多个厂商,多个存储网络之间很难实现相互协作,数据孤岛无疑将极大的增加企业存储系统的管理难度和运维成本。
除了盘活利旧、解除存储供应商绑定等需求,企业也面临着绿色数据中心的挑战。
在2030“碳达峰”背景下,企业积极探索如何响应数据中心能源消耗巨大的课题,而通过摆脱沉睡服务器和提高能源效率,是解决数据中心资源空跑、利用率低等问题的必经之路。
不难发现,无论从何种角度考虑,盘活企业存储资源已势在必行。在这种背景下,分布式存储凭借灵活、可靠性强、扩展性强等优势,成为解决存储资源闲置、提高资源利用率的理想技术路线。
就在今年,天翼云推出了一款革命性的分布式存储产品“存储资源盘活系统HBlock”,正是针对盘活存储资源这一挑战而诞生的。作为业内首款存储资源盘活系统,天翼云HBlock是如何解决这一棘手难题的?
天翼云HBlock 为存储“提质增效”
正如前文所说,盘活存储资源并不是件容易的事,为了解决异构存储、数据孤岛等挑战,天翼云HBlock创新性地提出了纯软件、全用户态的分布式存储产品形态。
首先,HBlock全部运行在用户态,与硬件驱动程序完全解耦,因此支持多种指令集架构、不同型号配置的服务器混合组成集群,可与企业现有应用混合部署于同一操作系统中,且不影响现有应用的运行,以尽可能盘活更多的存储资源。
其次,作为一款全用户态的纯软件,HBlock安装包只有170MB左右,可以安装在任何主流Linux操作系统上,把分散在各服务器中的存储空间整合成高性能虚拟资源池,通过分布式多控制器架构保证了低延迟、高可用、易扩展。
同时,HBlock还提供功能全面的控制台、命令行,以及完善的API接口,通过标准存储协议为上层应用提供分布式存储服务,解决了异构存储与数据孤岛问题。
事实上,想要解决盘活存储资源的挑战,还有一个重要的前提,就是要满足企业对于数据存储稳定性和业务环境高适应性的要求,才具备实际的落地性。
但是,想要提高稳定性就要限定环境,想要适应各种环境就容易出现不稳定,那么天翼云HBlock是如何解决这一难点的呢?
据天翼云国际业务事业部存储研发专家武志民介绍,天翼云HBlock主要从高可用、高可靠、高性能三个方向进行了技术攻坚:
在高可用方面,采用基于MPIO的“一主多备”方案。可在数据层面实现秒级故障切换,提高服务可用性;集群模式下所有服务都采用冗余方式部署,实现从服务器整机、单链路到单个磁盘部件发生故障而不受影响。
在高可靠方面,支持多副本和纠删码,每个存储卷都可以选择自己的冗余方式。当一份数据丢失的时候,可以通过其他的冗余数据,将丢失的数据快速重建,降低数据丢失的概率。
同时,支持节点、磁盘两个级别的故障域,以适应多种部署需求。在数据校验方面,支持客户端服务器校验、集群内部全流程校验、多台服务器间数据校验等多种校验方式,严格确保数据的一致性,并且在检测到异常的时候能够自动启动数据恢复进程。
在高性能方面,HBlock通过写缓存与读缓存的优化设计来实现。
其中,写缓存支持三种缓存模式:WriteBack, WriteThrough, WriteAround,分别适用于对读写性能要求较高、对数据的安全性要求较高且写少读多、对数据的安全性要求较高且写少读少的场景。
读缓存会根据网络距离和节点负载选择最合适的节点去读取数据,并根据不同用户场景自动调整缓存大小、判断缓存预读,从而大幅度提升客户端小IO顺序读的性能,减少客户端读请求的响应延时。
测试数据显示,在全SSD环境下,HBlock单卷IOPS可达15万次,读写延迟200微秒。
在规模层面,节点数可以达到1024,支持PB级别存储资源池。支持弹性扩容,不中断业务,可随时下架高能耗设备,替换为低能耗设备。以上数据均为业内上游水平,全面超过了开源Ceph。
值得注意的是,目前市场上绝大多数的分布式存储产品都在高可用、高可靠、高性能方面下足了功夫,但为何天翼云HBlock在盘活存储资源方面独具优势?我们认为有两个特点值得关注:
一是,大多数的分布式存储产品,其关键核心模块都是依赖于Linux内核,按照软硬一体的模式进行售卖。而HBlock通过自主研发,存储软件与硬件驱动程序完全解耦,因此适用于市面上通用的标准化服务器,兼容常见的Linux操作系统等。
二是,作为一款主打盘活、提高资源利用率的分布式存储产品,HBlock内置利旧检测工具。用户可以在正式部署前,全面检测自身硬件状态并进行评估,以了解是否适合部署HBlock,以及部署后会取得什么效果。
总体而言,天翼云HBlock不仅可以满足企业对于数据存储稳定性和业务环境高适应性的要求,还可以利用全部空闲存储资源,帮助企业解决存储资源闲置的难题,真正实现降本增效。
深入场景才经得起考验
如今随着企业业务应用类型的多元化,存储的使用场景也在走向多样化。
一款存储产品能否在性能、稳定性、可靠性等方面跟上应用趋势的迭代步伐,适应各种业务场景的新需求,决定了它是否能够真正应用落地。
天翼云HBlock正是掐准了不同场景对于存储需求的脉搏,在释放企业数据价值的过程中大展身手。目前,HBlock不仅支持私有云存储场景,还支持混合云存储、第二存储等多种需求场景。
以金融行业为例,由于企业对信息安全的要求高,普遍采用私有云建设模式。
而HBlock支持构建私有云存储底座,灵活纳管各类服务器,它可以替代传统SAN存储,支持对接OpenStack、Kubernetes,也可以在上面部署VMware、KVM等主流虚拟化平台来支撑业务;适配多种芯片架构、国产化操作系统,做到安全又高效。
同时,HBlock支持与公有云对象存储连接,实现混合云存储,提供本地和云端两种部署方式,并支持不同缓存策略,实现存储空间的按需使用、弹性扩展。
此外,HBlock还适用于第二存储场景,存储非关键数据,包括备份和容灾数据、视频监控数据、归档数据等,提高服务器资源利用率,实现业务快速上线。
目前,HBlock已在政务、金融、能源、医疗、工业互联网等行业场景中实现广泛应用。
也正是基于存储核心技术创新,以及深入场景释放企业价值,天翼云HBlock斩获了“可信云2022-2023年度技术最佳实践-基础服务类-分布式存储技术”大奖、第六届分布式存储高峰论坛“2023分布式存储产品金奖”等系列大奖,获得了业界的充分认可。
结语
据Gartner预测,到2024年,全球50%的存储容量将以软件定义存储的形式部署。
可以肯定,未来十年,分布式存储的相对市场份额将不断增长。面对愈加复杂的业务场景,企业对分布式存储系统也提出了更多新的需求。
天翼云存储资源盘活系统HBlock正是把握住了时代的机会,敏锐洞察到企业的切身需求,为企业有效盘活存储资源、提升基础设施运营管理水平、实现绿色高质量发展打下了坚实的存储底座。
【关于科技云报道】
专注于原创的企业级内容行家——科技云报道。成立于2015年,是前沿企业级IT领域Top10媒体。获工信部权威认可,可信云、全球云计算大会官方指定传播媒体之一。深入原创报道云计算、大数据、人工智能、区块链等领域。
相关文章:
科技云报道:分布式存储红海中,看天翼云HBlock如何突围?
科技云报道原创。 过去十年,随着技术的颠覆性创新和新应用场景的大量涌现,企业IT架构出现了稳态和敏态的混合化趋势。 在持续产生海量数据的同时,这些新应用、新场景在基础设施层也普遍基于敏态的分布式架构构建,从而对存储技术…...
Java高级-动态代理
动态代理 1.介绍2.案例 1.介绍 public interface Star {String sing(String name);void dance(); }public class BigStar implements Star{private String name;public BigStar(String name) {this.name name;}public String sing(String name) {System.out.println(this.name…...
时序预测 | MATLAB实现POA-CNN-LSTM鹈鹕算法优化卷积长短期记忆神经网络时间序列预测
时序预测 | MATLAB实现POA-CNN-LSTM鹈鹕算法优化卷积长短期记忆神经网络时间序列预测 目录 时序预测 | MATLAB实现POA-CNN-LSTM鹈鹕算法优化卷积长短期记忆神经网络时间序列预测预测效果基本介绍程序设计参考资料 预测效果 基本介绍 MATLAB实现POA-CNN-LSTM鹈鹕算法优化卷积长短…...
n个不同元素进栈,求出栈元素的【不同排列】以及【排列的数量】?
我在网上看的博客大部分是告诉你这是卡特兰数,然后只给出了如何求解有多少种排列,没有给出具体排列是怎么样的。如果你还不知道卡特兰数,请查看:https://leetcode.cn/circle/discuss/lWYCzv/ 这里记录一下如何生成每种具体的排列…...
Python中TensorFlow的长短期记忆神经网络(LSTM)、指数移动平均法预测股票市场和可视化...
原文链接:http://tecdat.cn/?p23689 本文探索Python中的长短期记忆(LSTM)网络,以及如何使用它们来进行股市预测(点击文末“阅读原文”获取完整代码数据)。 相关视频 在本文中,你将看到如何使用…...
多线程的学习第二篇
多线程 线程是为了解决并发编程引入的机制. 线程相比于进程来说,更轻量 ~~ 更轻量的体现: 创建线程比创建进程,开销更小销毁线程比销毁进程,开销更小调度线程比调度进程,开销更小 进程是包含线程的. 同一个进程里的若干线程之间,共享着内存资源和文件描述符表 每个线程被独…...
git之撤销工作区的修改和版本回溯
有时候在工作区做了一些修改和代码调试不想要了,可如下做 (1)步骤1:删除目录代码,确保.git目录不能修改 (2)git log 得到相关的commit sha值 可配合git reflog 得到相要的sha值 (3)执行git reset --hard sha值,可以得到时间轴任意版本的代码 git reset --hard sha值干净的代…...
sed awk使用简介
简介 本文主要介绍 Linux 系统的两个神级工具:sed 和 awk ,他们是Linux高手们必备的技能,很值得我们去研究的东西。 这里是我在网上书上收集的相关资料,因为这两个工具很有名也很重要,所以这些资料会帮助我更好的了解…...
竞赛选题 基于深度学习的人脸识别系统
前言 🔥 优质竞赛项目系列,今天要分享的是 基于深度学习的人脸识别系统 该项目较为新颖,适合作为竞赛课题方向,学长非常推荐! 🧿 更多资料, 项目分享: https://gitee.com/dancheng-senior/…...
idea Terminal 回退历史版本 Git指令 git reset
——————强制回滚历史版本—————— 一、idea Terminal 第一步:复制版本号 (右击项目–> Git --> Show History -->选中要回退的版本–>Copy Revision Number,直接复制;) 第二步:ide…...
华为云云耀云服务器L实例评测|华为云上安装监控服务Prometheus三件套安装
文章目录 华为云云耀云服务器L实例评测|华为云上试用监控服务Prometheus一、监控服务Prometheus三件套介绍二、华为云主机准备三、Prometheus安装四、Grafana安装五、alertmanager安装六、三个服务的启停管理1. Prometheus、Alertmanager 和 Grafana 启动顺序2. 使用…...
C语言基础知识点(八)联合体和大小端模式
以下程序的输出是() union myun {struct { int x, y, z;} u;int k; } a; int main() {a.u.x 4;a.u.y 5;a.u.z 6;a.k 0;printf("%d\n", a.u.x); } 小端模式 数据的低位放在低地址空间,数据的高位放在高地址空间 简记ÿ…...
一个线程运行时发生异常会怎样?
如果一个线程在运行时发生异常而没有被捕获(即未被适当的异常处理代码处理),则会导致以下几种情况之一: 线程终止:线程会立即终止其执行,并将异常信息打印到标准错误输出(System.err)。这通常包括异常的类型、堆栈跟踪信息以及异常消息。 ThreadDeath 异常:在某些情况…...
CSS中去掉li前面的圆点方法
1. 引言 在网页开发中,我们经常会使用无序列表(<ul>)来展示一系列的项目。默认情况下,每个列表项(<li>)前面都会有一个圆点作为标记。然而,在某些情况下,我们可能希望去…...
Python:获取当前目录下所有文件夹名称及文件夹下所有文件名称
获取当前目录下所有文件夹名称 def get_group_list(folder_path):group_list []for root, dirs, files in os.walk(folder_path):for dir in dirs:group_list.append(dir)return group_list获取文件夹下所有文件名称 def get_file_list(folder_path, group_name):file_list …...
系统架构设计师-数据库系统(1)
目录 一、数据库模式 1、集中式数据库 2、分布式数据库 二、数据库设计过程 1、E-R模型 2、概念结构设计 3、逻辑结构设计 三、关系代数 1、并交差 2、投影和选择 3、笛卡尔积 4、自然连接 一、数据库模式 1、集中式数据库 三级模式: (1)外…...
Docker的相关知识介绍以及mac环境的安装
一、什么是Docker 大型项目组件较多,运行环境也较为复杂,部署时会碰到一些问题: 依赖关系复杂,容易出现兼容性问题开发、测试、生产环境有差异 Docker就是来解决这些问题的。Docker是一个快速交付应用、运行应用的技术&#x…...
Android设计支持库
本文所有的代码均存于 https://github.com/MADMAX110/BitsandPizzas 设计支持库(Design Support Library)是 Google 在 2015 年的 I/O 大会上发布的全新 Material Design 支持库,在这个 support 库里面主要包含了 8 个新的 Material Design …...
【Java 基础篇】Java实现文件搜索详解
文件搜索是计算机应用中的一个常见任务,它允许用户查找特定文件或目录,以便更轻松地管理文件系统中的内容。在Java中,您可以使用各种方法来实现文件搜索。本文将详细介绍如何使用Java编写文件搜索功能,以及一些相关的内容。 文件…...
会C++还需要再去学Python吗?
提到的C、数据结构与算法、操作系统、计算机网络和数据库技术等确实是计算机科学中非常重要的基础知识领域,对于软件开发和计算机工程师来说,它们是必备的核心知识。掌握这些知识对于开发高性能、可靠和安全的应用程序非常重要。Python作为一种脚本语言&…...
vue部分/所有内容全屏切换展示
需求:就是把一个页面的某一部分内容点击全屏操作按钮后全屏展示,并非所有内容全屏,所有内容的话那肯定就所有全屏展示啊,可以做切换 1.部分全屏代码 element.requestFullscreen();这个就是全屏的代码了,注意前面的ele…...
8.gec6818开发板通过并发多线程实现电子相册 智能家居 小游戏三合一完整项目
并发 前面编写的程序都是从mian函数开始,从上往下执行,称为顺序执行 假设一个程序需要I输入 C计算 P输出,以顺序执行三个上述程序,则其执行过程如下: 程序内部的语句是一条一条的执行,如果要运行多个程序…...
角度回归——角度编码方式
文章目录 1.为什么研究角度的编码方式?1.1 角度本身具有周期性1.2 深度学习的损失函数因为角度本身的周期性,在周期性的点上可能产生很大的Loss,造成训练不稳定1.3 那么如何处理边界问题呢:(以θ的边界问题为例&#x…...
【C# Programming】值类型、良构类型
值类型 1、值类型 值类型的变量直接包含值。换言之, 变量引用的位置就是值内存中实际存储的位置。 2、引用类型 引用类型的变量存储的是对一个对象实例的引用(通常为内存地址)。 复制引用类型的值时,复制的只是引用。这个引用非常小…...
Linux Day18 TCP_UDP协议及相关知识
一、网络基础概念 1.1 网络 网络是由若干结点和连接这些结点的链路组成,网络中的结点可以是计算机,交换机、 路由器等设备。 1.2 互联网 把多个网络连接起来就构成了互联网。目前最大的互联网就是因特网。 网络设备有:交换机、路由器、…...
【Java 基础篇】Java网络编程实时数据流处理
在现代计算机应用程序中,处理实时数据流是一项关键任务。这种数据流可以是来自传感器、网络、文件或其他源头的数据,需要即时处理并做出相应的决策。Java提供了强大的网络编程工具和库,可以用于处理实时数据流。本文将详细介绍如何使用Java进…...
Oracle 和 mysql 增加字段SQL
在Oracle和MySQL中,可以使用ALTER TABLE语句来增加字段。下面是分别是两种数据库增加字段的SQL示例: 在Oracle中增加字段的SQL示例: ALTER TABLE 表名ADD (新字段名 数据类型);例如,如果要在名为"employees"的表中添加…...
【脚本】 【Linux】循环执行命令
loop.sh #!/bin/bashif [ "" "$1" ]; thenecho 用法: ./loop.sh 命令内容 时间间隔(毫秒) 循环次数(小于0表示无限循环)echo 示例: ./loop.sh "ps -ef" 1000 10exit 0 fiinterval1000 if [ "" ! "$2" ]; thenif echo &quo…...
快速用Python进行数据分析技巧详解
概要 一些小提示和小技巧可能是非常有用的,特别是在编程领域。有时候使用一点点黑客技术,既可以节省时间,还可能挽救“生命”。 一个小小的快捷方式或附加组件有时真是天赐之物,并且可以成为真正的生产力助推器。所以࿰…...
BD就业复习第二天
Hbase 1. 架构 HBase(Hadoop Database)是一个开源的分布式、面向列族(Column Family)的NoSQL数据库,它是构建在Hadoop之上的。HBase的架构设计旨在处理大规模的数据,特别适用于需要快速读写和随机访问大量…...
网站创建要多少钱/网络推广的重要性与好处
目前在市面上所看见的智能灯泡、智能牙刷、智能手环等等,可以透过App远程控制、通知提醒、纪录状态等等贴心信息显示,这些都号称物联网产品,但真的是这样吗?那到底哪些是物联网哪些联网物产品呢?事实上,这些只能够称作“类物联网…...
做网站的费用入账/免费b站网站推广
链接:https://pan.baidu.com/s/1zqhbQELzIJn_z6JDz8gKDA 提取码:52pj...
盱眙有做网站开发的吗/如何建立自己的网站
forin的原理forin语句是JDK5版本的新特性,在此之前,遍历数组或集合的方法有两种:通过下标遍历和通过迭代器遍历。先举个例子:Testpublic void demo() {String arr[] { "abc", "def", "opq" };for …...
杭州建德网站建设/万物识别扫一扫
在前几次的Server2008实验里面,我们向服务器FS01、FS02分别添加了一个磁盘分区E盘。但是没有介绍我们是如何通过VMWare Workstation来实现的。今天就让我们来一起利用VMWare Workstation来向虚拟主机添加一块新的硬盘并启用。利用虚拟机做实验,添加硬件&…...
专业网站制作公司/交换友情链接的注意事项
昨天,中国教育学会会长顾明远来杭州,参加杭州师范大学主办的第九届亚洲比较教育学会年会。会上,他对本报记者确认,全国执行高考新方案,不会在2016年,而是2017年。语文、数学在新高考里,份量加重…...
石家庄便宜做网站/站长交流平台
漏洞扫描小工具写完后,我打算给其增加一个启动界面,此处借鉴于 https://blog.csdn.net/yy873259480/article/details/7411383 界面组成为图片进度条,代码如下: package vul_scan; import java.awt.Color; import java.awt.Toolki…...