计算存储是不是智算时代的杀手锏?
想象一下,在一个繁忙的数据中心里,有一家大型互联网公司叫做“数据中心的故事”。这家公司一直在使用传统的CPU架构来处理海量数据。但是随着数据量的不断增长,CPU架构遇到了很多问题和瓶颈,这让“数据中心的故事”感到非常苦恼。
有一天,“数据中心的故事”请来了一位神秘的朋友——魔术师DPU,他带来了全新的解决方案。魔术师DPU一挥魔法棒,将数据中心里的一些工作负载交给了专门处理这些工作的DPU。这样一来,CPU就可以减轻负担,专注于处理更加复杂的计算任务。
“数据中心的故事”觉得这个魔术师DPU非常神奇,但魔术师DPU说:“这还不是全部,我还有一个更神奇的朋友——超级魔法师CSD。”
于是,超级魔法师CSD也加入了“数据中心的故事”,他带来了一个全新的计算存储驱动器(CSD)。这个驱动器可以将计算和存储结合在一起,让数据存储变得更高效。在超级魔法师CSD的帮助下,“数据中心的故事”的数据中心变得更加强大、灵活和高效。
传统的数据中心架构主要以CPU为中心,这使得数据中心的计算和存储任务主要依赖于CPU的处理能力。但是,随着数据量的不断增长,这种架构逐渐显现出一些问题和瓶颈,如处理速度慢、效率低下等。
目前已经从传统CPU为中心的架构,开始向以数据为中心的新型架构转变。新的架构处理需求,就涌现了多种卸载传统CPU计算能力的产品,比如DPU、CSD等。
DPU的出现为以数据为中心的计算架构提供了创新思路。它主要分担数据中心其他处理器的工作,如网络卸载、计算卸载或数据服务卸载等,以节省成本,尤其是降低进入数据中心的资本成本和降低数据中心的运营成本。通过将基础设施服务卸载和隔离出来,DPU通过卸载CPU和GPU的工作负载,可以使CPU和GPU专注于处理核心的计算任务,提高整体性能。此外,DPU还通过硬件加速技术,以更快的速度处理这些服务,从而大大提高了数据中心的效率。
例如,一个BlueField-3 DPU所提供的数据中心基础设施服务可相当于多达300个CPU核才能实现的服务。
类似地,CSD的出现也是为了优化数据中心的性能和效率。通过将计算和存储结合在一起,CSD可以利用硬件计算加速引擎将存储处理任务集成到盘上,从而释放CPU进行更高价值的工作。这种架构可以提高存储效率和性能。
在计算存储领域CSD,三星和ScaleFlux是业界的两大主要参与者,在计算存储驱动器(CSD)方面都有一定的研发和应用进展。
三星SmartSSD计算存储驱动器 (CSD) 是业界首款可定制、可编程的计算存储平台,它可以将计算推进到数据所在的位置,从而显著加速数据密集型应用,增速达10倍以上。SmartSSD CSD可以为各种应用加速,包括数据库管理、视频处理、人工智能层和虚拟化等。
它的核心是Xilinx自适应平台,这是利用Xilinx FPGA的可编程性创建的完全可定制的计算存储设备。在存储数据的位置对数据进行高速计算,超快速并行计算将CPU解放出来,以便更高效地处理其它高级任务。不仅如此,SmartSSD CSD的另一个优势是能在不牺牲性能或存储容量的情况下提高存储效率和节省存储空间。
ScaleFlux也推出了了一款名为CSD 3000的计算存储SSD。它利用硬件计算加速引擎将存储处理任务集成到盘上,从而释放CPU进行更高价值的工作,延长使用寿命,并提高整体性能。它的核心设计是针对闪存存储优化的处理方式,在数据写入时进行透明压缩,并在数据读取时进行无缝解压缩,这减轻了CPU的负担。这种透明压缩技术最高可以使存储的数据量提升高达4倍,从而提高存储效率和节省存储空间。
此外,CSD 3000通过采用可变长度映射和写入聚合(write aggregation)技术,优化了数据写入方式,减少写入操作对闪存存储的擦除和写入次数,从而有效地延长了SSD的使用寿命。
除此之外,还有一些新兴公司和团队也在计算存储领域进行积极的研发和创新。
同时,目前计算存储领域也在SNIA和NVME两大组织的带领下,形成行业生态。在2022年8月已经发布了《Computational Storage Architecture and Programming Model Version 1.0》。
目前加入到SNIA工作组的成员已经有258家,行业生态的建设如火如荼。
NVME规范也成立相应的工作组,相应的功能/命令规范也在讨论制定中。
SNIA对Computational Storage定义为一种将计算和存储资源整合在一起的技术,以支持更高效、更智能的数据中心。在这种定义下,Computational Storage强调将计算和存储功能集成到一个统一的系统中,以提高数据管理和处理效率。
NVME将Computational Storage定义为一种将存储设备转化为计算资源的技术,以支持更高效、更灵活的数据中心。在这种定义下,NVMe强调将存储设备转化为可编程的计算资源,以实现更高效的数据处理和管理。NVMe规范侧重于存储设备的性能优化和灵活性。
虽然SNIA和NVMe在Computational Storage的定义上有所不同,但它们的重点都在于将存储和计算资源更有效地整合在一起,以提高数据中心的效率和灵活性。SNIA更注重存储和计算的集成,而NVMe更注重存储设备的性能优化和灵活性。这两种定义在实际应用中都有其价值,并且可以相互补充。
总的来说,计算存储是一个发展非常快的领域,目前行业内的研发状态呈现出百家争鸣的局面。每个公司都有自己的研发方向和技术优势,未来的竞争将更加激烈。
相关文章:
计算存储是不是智算时代的杀手锏?
想象一下,在一个繁忙的数据中心里,有一家大型互联网公司叫做“数据中心的故事”。这家公司一直在使用传统的CPU架构来处理海量数据。但是随着数据量的不断增长,CPU架构遇到了很多问题和瓶颈,这让“数据中心的故事”感到非常苦恼。…...
西门子S7-1200F或1500F系列安全PLC的组态步骤和基础编程(二)
西门子S7-1200F或1500F系列安全PLC的组态步骤和基础编程(二) 上一次和大家分享了组态相关的重要内容,具体可以参考以下链接中的内容: 西门子S7-1200F或1500F系列安全PLC的组态步骤和基础编程(一) 本次继续和大家分享关于安全PLC基础编程的相关内容: 如下图所示,在左侧的…...
【Spring Boot】Spring Boot中的简单查询
前面介绍了在Spring Boot项目中集成JPA框架,实现数据的增、删、改、查等功能。Spring Data JPA的使用非常简单,只需继承JpaRepository即可实现完整的数据操作方法,无须任何数据访问层和SQL语句。JPA除了这些功能和优势之外,还有非…...
Transformer 01(自注意机制Self-attention)
一、Self-attention [台大李宏毅] 1.1 向量序列的输入 一个序列作为输入: 多个向量输入举例: 一个句子: 声音信号: 图: 1.2 输出 二、Sequence labeling 输入与输出一样多:Sequence labeling 窗口开的…...
交流共享,共筑智算底座丨九州未来受邀出席英特尔线下沙龙
随着AI技术的升级迭代、生成式AI模型智能化水平的持续提升,AIGC加速向多种场景渗透,AIGC迎来应用爆发期,有望实现且跨越更多领域的融合,形成新的应用场景和解决方案,持续推动数字技术的创新与应用,助力各行…...
【EI会议信息】第五届土木建筑与城市工程国际学术会议(ICCAUE 2023)
第五届土木建筑与城市工程国际学术会议(ICCAUE 2023) 2023 5th International Conference on Civil Architecture and Urban Engineering (ICCAUE 2023) 第五届土木建筑与城市工程国际学术会议(ICCAUE 2023)由天津大学主办&…...
上海亚商投顾:沪指震荡反弹 汽车产业链全天强势
上海亚商投顾前言:无惧大盘涨跌,解密龙虎榜资金,跟踪一线游资和机构资金动向,识别短期热点和强势个股。 一.市场情绪 大小指数昨日集体反弹,沪指3100点失而复得,创业板指一度涨超1.5%,随后涨幅…...
【Python深度学习】深度学习入门介绍
引言 深度学习是人工智能领域中最受关注和研究的子领域之一,它在计算机视觉、自然语言处理、语音识别、推荐系统等各个领域都有广泛的应用。本文将详细介绍深度学习的发展历史、不同类型、应用领域以及未来发展前景。 1、深度学习的发展历史 深度学习的起源可以追溯…...
【Linux系统编程】进程概念与基本创建
文章目录 1. 进程的概念2. 进程描述—PCB3. task_struct—PCB的一种4. task_ struct内容分类5. 查看进程 这篇文章我们来学习下一个概念——进程 1. 进程的概念 那什么是进程呢,我们该如何理解它呢? 如果我们打开电脑的任务管理: 我们看到这…...
webpack:详解CopyWebpackPlugin,复制的同时修改文件内容
摘要 CopyWebpackPlugin 是一个强大的 Webpack 插件,用于将文件从源目录复制到构建目录。在本文中,我们将探讨 CopyWebpackPlugin 的一些常用 API,并提供示例代码。 在构建 Web 应用程序时,通常需要将一些静态文件(如…...
Twin-Builder—系统级多物理域数字孪生平台
Twin Builder是ANSYS公司系统仿真业务的核心产品,是一款跨学科多领域系统仿真软件和数字孪生平台。能够实现复杂系统的建模、仿真和验证,基于IIoT物联网平台对数字孪生体进行集成、部署与运行,在完成复杂系统功能、性能的验证和优化的同时&am…...
用selenium和xpath定位元素并获取属性值以及str字符型转json型
页面html如图所示: 要使用xpath定位这个div元素,并且获取其属性data-config的内容值。 from selenium import webdriver from selenium.webdriver.common.by import By from selenium.webdriver.chrome.options import Optionshost127.0.0.1 port10808 …...
基于Java的电影院管理系统设计与实现
前言 💗博主介绍:✌全网粉丝10W,CSDN特邀作者、博客专家、CSDN新星计划导师、全栈领域优质创作者,博客之星、掘金/华为云/阿里云/InfoQ等平台优质作者、专注于Java、小程序技术领域和毕业项目实战✌💗 👇🏻…...
Linux Static Key原理与应用
文章目录 背景1. static-key的使用方法1.1. static-key定义1.2 初始化1.3 条件判断1.4 修改判断条件 2、示例代码参考链接 背景 内核中有很多判断条件在正常情况下的结果都是固定的,除非极其罕见的场景才会改变,通常单个的这种判断的代价很低可以忽略&a…...
linux ssh 禁止指定用户通过ssh登录
Linux 禁止用户或 IP通过 SSH 登录 限制用户 SSH 登录 1.只允许指定用户进行登录(白名单): 在 /etc/ssh/sshd_config 配置文件中设置 AllowUsers 选项,(配置完成需要重启 SSHD 服务)格式如下:…...
快速学习Netty
Netty框架探索:助力高效网络编程 一、Netty是个啥?二、“Hello World”服务器端实现(Server)客户端实现(Client)思考🤔 三、Netty的核心组件EventLoopChannelChannelPipelineChannelHandlerByte…...
对类和对象的详细解析
目录 1.类的构成 2.this指针 3.C类里面的静态成员 3.1 类里面的静态成员函数 3.2 类里面的静态成员变量 静态成员变量的特点 共享性 存储位置 生命周期 访问权限 如何初始化? 构造函数 1.类的构成 public修饰的成员在类外可以直接被访问 private和protecte…...
matlab 间接平差法拟合二维圆
目录 一、算法原理二、代码实现三、结果展示本文由CSDN点云侠原创,原文链接。爬虫自重。 一、算法原理 圆的方程为: ( x - x 0 )...
pgzrun 拼图游戏制作过程详解(10)
10. 拼图游戏继续升级——多关卡拼图 初始化列表Photos用来储存拼图文件名,Photo_ID用来统计当下是第几张拼图,Squares储存当下拼图的24张小拼图的文件名,Gird储存当下窗口上显示的24个小拼图及坐标。 Photos["girl_","boy_…...
glog与pugi::xml使用方法
(一)glog的使用:google logging的简称; 1)需要安装,网上一搜一大堆,不在赘述; 2)在cmakelists.txt中,需要链接"-glog",如&a…...
windows下MySQL服务不见,服务无法启动,服务闪退,提示“本地计算机上的MySQL服务启动后停止。某些服务在未由其他服务或程序使用时将自动停止”
文章目录 前情提示1.解决MySQL服务消失2.解决MySQL服务无法启动 前情提示 后台启动MySQL服务出现闪退 或 “本地计算机上的MySQL服务启动后停止。某些服务在未由其他服务或程序使用时将自动停止”,可以参考以下方法。 我的电脑上安装了双版本MySQL,这里…...
剑指offer(C++)-JZ67:把字符串转换成整数atoi(算法-模拟)
作者:翟天保Steven 版权声明:著作权归作者所有,商业转载请联系作者获得授权,非商业转载请注明出处 题目描述: 写一个函数 StrToInt,实现把字符串转换成整数这个功能。不能使用 atoi 或者其他类似的库函数。…...
嵌入式笔试面试刷题(day15)
文章目录 前言一、Linux中的主设备号和次设备号1.查看方法2.主设备号和次设备号的作用 二、软件IIC和硬件IIC的区别三、变量的声明和定义区别四、static在C和C中的区别五、串口总线空闲时候的电平状态总结 前言 本篇文章继续讲解嵌入式笔试面试刷题,希望大家坚持跟…...
【Docker】Dockerfile构建镜像
一、编写Dockerfile文件 编写镜像需要的运行环境(Linux、java等), Dockerfile文件内容如下: # 使用官方的 Ubuntu 16.04 镜像作为基础镜像 FROM ubuntu:16.04# 更新包列表 RUN apt-get update# 安装所需的软件包 RUN apt-get ins…...
fota升级,可卸载apk也进行更新
首先如题目要求 可卸载apk是通过刷机或恢复出厂设置之后执行脚本安装的 然后fota升级后,在判断是否“是第一次刷机和恢复出厂设置”时候会返回false,就导致脚本没有执行。导致apk升级不成功 所以我们要完成这个就是,确定fota什么时候升级完…...
ASP.NET dotnet 3.5 实验室信息管理系统LIMS源码
技术架构:ASP.NET dotnet 3.5 LIMS作为一个信息管理系统,它有着和ERP、MIS之类管理软件的共性,如它是通过现代管理模式与计算机管理信息系统支持企业或单位合理、系统地管理经营与生产,最大限度地发挥现有设备、资源、人、技术的…...
2023!6招玩转 Appium 自动化测试
Appium是个什么鬼 Appium是一个移动端的自动化框架,可用于测试原生应用,移动网页应用和混合型应用,且是跨平台的。可用于IOS和Android以及firefox的操作系统。原生的应用是指用android或ios的sdk编写的应用,移动网页应用是指网页…...
WireShark抓包分析TCP三次握手过程,TCP报文解析
「作者主页」:士别三日wyx 「作者简介」:CSDN top100、阿里云博客专家、华为云享专家、网络安全领域优质创作者 「推荐专栏」:对网络安全感兴趣的小伙伴可以关注专栏《网络安全入门到精通》 使用WireShark工具抓取TCP协议三次握手的数据包&am…...
【C语言】指针和数组笔试题解析
大家好,我是苏貝,本篇博客带大家了解指针和数组笔试题解析,如果你觉得我写的还不错的话,可以给我一个赞👍吗,感谢❤️ 目录 1.前言2.一维数组2.字符数组2.12.22.32.42.52.6 1.前言 本篇文章是讲述在不同数…...
Vue的模板语法(下)
一.事件处理 事件修饰符 Vue通过由点(.)表示的指令后缀来调用修饰符, .stop, .prevent,.capture,.self,.once .stop:阻止事件冒泡。当一个元素触发了事件,并且该元素包含嵌套的父元素时&#…...
四川网站建设费用/百度seo插件
历史悠久的电子邮件至今长盛不衰,但你知道它的规模究竟有多大? 在2013年,全世界每天发送的邮件大约为1500亿封,相当于地球上每个人每天收到21封,如果仅计算电子邮件用户,那么他们每天平均收到79封。如果 将…...
提供手机自适应网站公司/如何创建自己的网站
欢迎关注头条号:Java小野猫web项目部署到tomcat上之后,有时需要打断点单步调试,如果用的是Intellij idea,可以通过如下方法实现:开启debug端口,启动tomcat以tomcat7.0.75为例,打开bin目录下的ca…...
学前心理学课程建设网站/做推广的都是怎么推
这个网站是真免费的那种,不是打着免费的旗号让你付费的套路。 我准备更换公司的bug管理系统,找了半天,找到这个网站最符合我的心意,流程简洁,用起来方便,速度快。 有兴趣的去看看吧: buginfo…...
网站开发完后如何上线/搜索引擎的作用
PLC、触摸屏走wifi、4G卡或有线网远程联网调试PLC、触摸屏走wifi、4G卡或有线网远程联网调试系统框架图:框架图PLC、触摸屏走wifi、4G卡或有线网远程联网调试所需硬件: GRM530远程智能模块1台与Wifi、4G或有线网上网环境PLC、触摸屏走wifi、4G卡或有线网…...
天津做网站的公司排名/好用的磁力搜索引擎
数据结构复习题(绪论)绪论选择题填空题简答题判断题绪论 选择题 线性结构中数据元素的位置之间存在( A )的关系 A.一对多 B.一对一 C.多对多 D.每一个元素都有一个直接前驱和一个直…...
以前老网站/长沙网站seo哪家公司好
1.npm install vue-cli -g 全局的 2.vue -V 检查vue版本 3.vue init webpack demo(项目名称) 4.一直回车 eslint test e2e 都不安装 5.npm run dev 6.npm run build 打包发布转载于:https://www.cnblogs.com/rxfn/p/10869444.html...