当前位置: 首页 > news >正文

YashanDB:潜心实干,数据库核心技术突破没有捷径可走

都说数据库是三大基础软件中的一块硬骨头,技术门槛高、研发周期长、工程要求高,市场长期被几大巨头所把持。

因此,实现突破一直是中国数据库产业的夙愿。自上个世纪80年代起,中国数据库产业走过艰辛坎坷的四十余载,终于拥有一席之地。但当中国逐渐成长为全球最大数据圈之际,中国数据库产业又面临着全新局面:

一方面,数字经济带来持续且丰富的数据库需求,中国数据库市场的未来普遍被看好;另一方面,市场涌现出上百家数据库公司,重复建设的现象突出,出现一定的乱象;更加重要的是,面对日趋复杂且多样的数据处理需求,数据库理论和核心技术亟待突破,以更好适应未来市场需求。

洗尽铅华始见金,中国数据库产业之路该走向何方?近日深圳计算科学研究院(以下简称深算院)YashanDB团队接受大数据在线的专访,畅谈中国数据库产业发展等话题。YashanDB产品总监王南认为数据库的发展必须突破关键核心技术,唯有潜心实干才是出路。目前,YashanDB正积极探索一条产学研用的新路,即致力于数据库理论与核心技术的突破,利用前沿研究成果,紧密贴合市场需求,打造出世界一流的数据库产品。

野蛮生长不可取

IDC数据显示,2022年中国关系型数据库市场规模为34.3亿美元,同比增长23.9%;到2027年,规模有望达到102.7亿美元,年复合增长率为24.5%。中金研究报告也显示,2023-2027年数据库整体国产替换市场空间约400亿元。

毋庸置疑,中国数据库市场潜力巨大。与此同时,信通院《数据库发展白皮书》中提到,中国数据库公司数量已达到150家,数据库产品更是高达238款。在外部环境不确定性持续增加的大背景下,百花齐放的确让市场欣欣向荣,却也让野蛮生长和重复建设的现象逐渐突出。

作为基础软件,数据库有其自身规律,短时间涌现出如此数量的公司可能会造成两个挑战:

其一、短期资本涌入造成繁荣的假象,但市场总体规模体量并不足以养活如此多公司,多数公司未来前景存疑;其二、数据库是一项需要持续投入的基础软件领域,重复建设会让市场人才、资金走向割裂,整体竞争力受损。

再仔细研究中国数据库公司,大部分跟MySQL、PostgreSQL两大开源数据库有着千丝万缕的联系。不可否认,开源在推动中国数据库产业高速发展中发挥着关键性作用,也绝对是数据库产业未来重要的发展趋势之一。但开源≠免费,在云计算兴起的当下,甚至频出各种利益纠葛,像MySQL的GPL协议在开源协议中要求最为严格,未来如何发展取决于Oracle的态度。如果通过利用开源快速包装出“速成”产品,以达到抢夺市场的目的,这种做法未来存在巨大风险。

当下,这种“走捷径”的做法已产生一定影响。例如,CSDN 《2022-2023 中国基础软硬件-数据库开发者调查报告》显示,只有31%的开发者对国产数据库持正面看法,69%的开发者均对国产数据库持负面看法。

“数据库等基础软件没有捷径可走。数据库要想持续发展,需要有足够的战略定力,围绕理论创新与技术突破,才能真正解决数据库的基本问题。”YashanDB产品总监王南如是说。

数据库核心技术突破没有捷径可走

本质上,数据库属于软件重工业,工程化程度极高,投入大、见效慢,并且回报带有极大不确定性。要想在数据库领域有一番作为,需要直面资金、技术、人才和商业化四个最为关键的挑战。

例如,数据库的研发需要持续投入大量资金,投入少、依靠开源“走捷径”,本质上很难获得核心竞争力,又如面临核心内核人才不足、商业化落地等难题。

但最为重要的挑战无疑就是技术突破。当前的数据库市场类似新能源汽车市场早期,市场存在大量公司,但真正掌握核心技术的公司却是不多。在数据库关键技术挑战中,又以数据库理论创新最为关键,核心技术发展有赖于数据库理论创新。

显然,在用户业务类型、场景规模、数据量等均发生翻天覆地变化的今天,数据库的理论创新迫在眉睫,也正是当下中国数据库企业需要潜心实干的方向。只有在数据库理论实现创新与突破,才能点到面带来产品技术的全面变革,从而支撑起未来业务场景的需求。

在当下的中国数据库市场,深算院是为数不多致力于数据库理论研究与创新的机构,深算院的理论研究团队原创有界计算(bounded evaluation)、数据驱动的近似计算(data-driven approximation)、并发事务调度理论等系列创新理论,致力于持续探索数据库核心技术的突破。

像有界计算理论是把大数据计算规约成小数据上的处理,近似计算则可在硬件规模投入有限的情况下,实现大数据精确高效查询。深算院的理论研究成果对于很多身处大数据时代的行业用户极具现实价值。

当前,性能与成本依然是数据库产品选型的核心要素。然而,计算资源的增长速度远远跟不上数据增长的速度,尽管堆叠机器增加算力也难以应对海量数据的计算要求,还会导致成倍的运维问题和成本。而有界计算和近似计算则有望打破传统数据库理论的束缚,让数据库的性能与成本达到新高度。

例如,曾经通过测试发现,在某业务场景数十亿条数据的实时查询场景下,91% 的查询可以用有界计算来解决,并且 70% 以上的查询效率可以提升 25 倍到 14 万倍,剩余 9% 不具备有界计算条件的查询,可以通过数据驱动的近似计算理论来解决。

但从理论创新到落地产品的过程绝非易事,需要持续的验证、迭代和优化。YashanDB研发团队从原型开始验证,历经各种困难与挑战,逐步在YashanDB中融入这两大理论研究成果。在最新的YashanDB 版本中,YashanDB 实现在大数据分析时不需要访问全部数据,只需取其中的小数据集就能得到想要的结果。经过实测,数据量从 10GB 增长到 1TB,YashanDB 响应时延维持亚秒级,性能提升千倍以上且未衰减,性能与成本表现出色。

据悉,YashanDB从核心理论到关键技术均为原创,且高度兼容主流数据库。YashanDB自身产品能力较为全面,基于YashanDB内核,打造出单机/主备、共享集群、分布式等多种产品形态,覆盖OLTP/HTAP/OLAP负载场景,并提供完整的工具体系。王南透露,YashanDB会根据用户场景来推荐不同的产品形态。

“我们以提高单位资源成本下的计算效能为目标设计产品,不是堆叠机器追求‘规模上限’。”王南说道。在OLTP场景中,YashanDB通过细粒度并发控制、免锁事务优化和自适应并发调度算法等技术,最大程度提升单机的事务处理性能,提供可用于生产的Benchmark性能测试配置和测试数据,性能超出主流商业数据库30%以上。

“几年前,大家可能还认为中国数据库内核需要好多年才能成熟起来。”王南表示道,“但现在从咱们一些数据库产品在核心业务场景中的表现来看,数据库核心技术只要沉下心去攻克,是一定能解决的。”

就如国产新能源汽车逐渐率先攻克自动驾驶、智能车机、底盘等核心技术,在市场中脱颖而出一样,扎根关键技术研发与突破的数据库公司,从一开始就把地基打牢固,也有望在未来的市场中逐步实现引领。“数据库不存在弯道超车,掌握核心技术才是关键所在。如果核心技术不足,哪怕一开始‘走捷径’,未来也走不远。”王南如是说。

商业化不能“纸上谈兵”

总体来看,我国数据库产业发展正处于欣欣向荣的阶段,加速由“数量型”向“质量型”关键转变。这其中,商业化就是摆在很多中国数据库公司面前的一道必答题。

在数据库市场,光有突破性的数据库核心技术、能力强大的数据库产品还远远不够,商业化则是将产品技术实现价值化的关键所在。众所周知,我国数据库公司相对还较为年轻,过去由于Oracle等数据库巨头长期占领市场,使得很多中国数据库公司哪怕有诸多技术与产品的创新,却很难有较多机会在金融等核心业务场景中得到验证,从而陷入“技术、产品、场景”不能良性循环的怪圈,商业化之路极为曲折。

如今,随着自主可控技术体系成为中国数字经济发展的重要支撑,中国数据库也迎来了打破怪圈的契机。在王南看来,中国数据库公司需要从场景验证、应用改造、选型成本、服务能力四个方面发力,从而加速推动商业化。

首先是场景验证,比如金融核心业务场景,对于数据库的性能、可靠性、稳定性要求极高,随着硬件层面的自主可控技术逐步进入到核心业务场景中,会带来数据库适配、性能波动等一系列挑战。王南直言:“数据库要想实现规模化复制,必须在关键行业和关键场景中去验证,一步一步往前走,才能在行业广度、业务场景中做到规模复制。”

以YashanDB为例,围绕金融、央国企等重点行业的等他客户和重点场景已经做了相当范围的覆盖和验证。

其次是应用改造的挑战。像银行等金融机构,由于历史积累丰富、业务系统庞杂,比如分布式架构的改造,需要解决规模化带来的成本问题,“这是一个关键矛盾,对于数据库公司、用户等都是巨大挑战。”王南补充道。

第三是降低客户选型的成本。由于产品质量参差不齐,客户选型判断成本过高。提供诚实可信的高性价比产品、公正透明的价格、完善的生态体系以及放心省心的服务方是破局之道。

最后则是需要解决好服务能力,目前国内数据库公司普遍面临的困境就是面对场景的复杂性,需要有很重的服务投入,对于DBA团队极为倚重。

相比于其他商业数据库公司,依托深算院,YashanDB作为产学研“一体化”数据库的代表,其商业化之路更加为业界所关注。王南介绍,YashanDB拥有深算院背后强大的科研资源,未来同样希望加速商业化,将数据库领域好的创新实现市场化,为中国企业的数字化转型带来更多价值。据悉,YashanDB接下来会进一步加速市场化和商业化进程,产品化、重点行业和生态合作伙伴布局也在紧锣密鼓和有条不紊地推进中。

“我们有足够的信心和战略定力把YashanDB做好!”王南最后表示道。

相关文章:

YashanDB:潜心实干,数据库核心技术突破没有捷径可走

都说数据库是三大基础软件中的一块硬骨头,技术门槛高、研发周期长、工程要求高,市场长期被几大巨头所把持。 因此,实现突破一直是中国数据库产业的夙愿。自上个世纪80年代起,中国数据库产业走过艰辛坎坷的四十余载,终…...

Talk | ICCV‘23南洋理工大学博士后李祥泰:面向统一高效的视频分割方法设计

本期为TechBeat人工智能社区第528期线上Talk! 北京时间9月6日(周三)20:00,南洋理工大学博士后研究员—李祥泰的Talk已准时在TechBeat人工智能社区开播! 他与大家分享的主题是: “面向统一高效的视频分割方法设计”,他分享了其在视…...

怎样把英语视频字幕翻译成中文

我们知道,随着中外文化交流日益频繁,视频翻译作为一种重要的跨文化交流方式,也越来越受到重视。那么,怎样把英语视频翻译成中文,北京视频翻译哪里比较专业? 据了解,视频翻译是直接将一种语言的音…...

智慧铁路:机车整备场数字孪生

机车整备场是铁路运输系统中的重要组成部分,它承担着机车的维修、保养和整备工作,对保障铁路运输的运维和安全起着至关重要的作用。 随着铁路运输的发展、机车技术的不断进步,以及数字化转型的不断推进,数字孪生技术在机车整备场…...

ImageSharp.Web实战:轻松搭建高效图片服务

很多情况下,在开发如PC、H5、小程序等综合平台的时候,图片的展示是个比较头疼的问题。尤其是有会员功能,会员可以上传图片的平台,更是一件麻烦事。平台展示图片的地方,尺寸是定义好的。但用户不配合,上传的…...

端口扫描-安全体系-网络安全技术和协议

端口扫描-安全体系-网络安全技术和协议 端口扫描信息安全的保证体系和评估方法网络安全技术网络攻击和威胁(重要)网络安全协议 端口扫描 全TCP连接:三次握手 半打开式扫描:前两次握手 FIN扫描:不用建立TCP连接 第三方扫描: 拒绝服务攻击有: 同步包风暴ICMP攻击SNMP攻击 都是修改…...

C# wpf 实现截屏框热键截屏功能

wpf截屏系列 第一章 使用GDI实现截屏 第二章 使用DockPanel制作截屏框 第三章 实现截屏框热键截屏(本章) 第四章 实现截屏框实时截屏 第五章 使用ffmpeg命令行实现录屏 文章目录 wpf截屏系列前言一、实现步骤1、响应热键2、截屏显示(1&#…...

springboot + activiti实现activiti微服务化

概述 本文介绍如何将springbootactiviti进行整合,并配合eureka,zuul和feign实现activiti的微服务化,将流程控制和业务逻辑分离. 并实现了几个比较特殊的功能,比如时间段委托(某人请假或出差,出差时间内,所有待办交给被委托人处理),比如节点的无限级加签功能(流程本身有不确定性…...

c语言练习41:深入理解字符串函数strlen strcpy strcat

深入理解字符串函数strlen strcpy strcat 模拟实现&#xff1a;”strlen strcpy strcat strlen strcat: #define _CRT_SECURE_NO_WARNINGS #include<stdio.h> #include<assert.h> strlen 1.通过指针移动模拟 //int my_strlen(char* str) { // size_t c…...

Vue3+Vue-i18n+I18N ALLY+VSCODE 自动翻译多国语言

ps: 效果图放前面,符合的往下看&#xff0c;不符合的出门右转&#xff0c;希望多多点赞评论支持。 三种语言模式&#xff0c;分别是中文、英文、日文 批量翻译 最后的结果 配置vue-i18n 1、下载安装vue-i18n&#xff0c;9以上的版本。 2、创建对应文件夹 3、对应文件夹中代…...

idea意外退出mac

目录 问题描述 解决过程 问题描述 mac上的idea我很久没用了&#xff0c;之前用的时候还是发布新版的开源项目&#xff0c;这几天再用的时候&#xff0c;就出现了idea意外退出的问题&#xff0c;我上网查找了很久&#xff0c;对于我的问题都没有很好的解决。 解决过程 在寻求…...

百度智能云千帆大模型平台2.0来了!从大模型到生产力落地的怪兽级平台!!

目录 前言 最佳算力效能为企业降低门槛 最多大模型&#xff0c;最多数据集为企业保驾护航 企业级安全对于企业来说是硬性要求 前言 普通人或许感知不明显&#xff0c;但是对于企业而言&#xff0c;身处AI时代&#xff0c;是否选择投资大模型&#xff0c;是否拥抱人工智能…...

k8s nfs-client 添加挂载参数 —— 筑梦之路

背景介绍 为什么要使用noresvport参数挂载NAS&#xff1f;不重新挂载会有什么后果&#xff1f; 如果发生网络切换或者后端服务的HA倒换&#xff0c;小概率会造成NFS文件系统阻塞&#xff0c;那就可能需要几分钟时间连接才会自动恢复&#xff0c;极端情况下甚至需要重启ECS才能恢…...

【算法】堆排序 详解

堆排序 详解 堆排序代码实现 排序&#xff1a; 排序&#xff0c;就是使一串记录&#xff0c;按照其中的某个或某些关键字的大小&#xff0c;递增或递减的排列起来的操作。 稳定性&#xff1a; 假定在待排序的记录序列中&#xff0c;存在多个具有相同的关键字的记录&#xff0c…...

解决Maven依赖下载问题:从阿里云公共仓库入手

&#x1f337;&#x1f341; 博主猫头虎&#xff08;&#x1f405;&#x1f43e;&#xff09;带您 Go to New World✨&#x1f341; &#x1f984; 博客首页——&#x1f405;&#x1f43e;猫头虎的博客&#x1f390; &#x1f433; 《面试题大全专栏》 &#x1f995; 文章图文…...

【Java基础】学习笔记2 - 数组运算符与main方法

目录 多态数组运算符hashCodefinalize 方法 第三阶段类变量类方法main 方法代码块单例模式饥饿式懒汉式 多态数组 顾名思义&#xff0c;就是在一个数组内体现多态 public class PolyArrDemo {public static void main(String[] args) {// 定义多态数组Fruit[] fruits new Fr…...

stable diffusion实践操作-复制-清空-保存提示词

系列文章目录 stable diffusion实践操作 stable diffusion实践操作-webUI教程 提示&#xff1a;写完文章后&#xff0c;目录可以自动生成&#xff0c;如何生成可参考右边的帮助文档 文章目录 系列文章目录前言一、右上生成图标附近按钮介绍1. 箭头介绍&#xff08;复现别人的…...

【Spring 事务和事务传播机制】

目录 1 事务概述 1.1 为什么需要事务 1.2 事务的特性 1.3 Spring 中事务的实现 2 Spring 声明式事务 2.1 Transactional 2.2 Transactional 的作用范围 2.3 Transactional 的各种参数 2.3.1 ioslation 2.4 事务发生了异常&#xff0c;也不回滚的情况 异常被捕获时 3 事务的传…...

【爬虫】实验项目二:模拟登录和数据持久化

目录 一、实验目的 二、实验预习提示 三、实验内容 实验要求 基本要求&#xff1a; 改进要求A&#xff1a; 改进要求B&#xff1a; 四、实验过程 基本要求&#xff1a; 源码如下&#xff1a; 改进要求A: 源码如下&#xff1a; 改进要求B&#xff1a; 源码如下&…...

图文版:以太网二层接口类型(含配套习题)

常见的以太网二层接口类型包括以下三种&#xff1a; 一、Access接口 access链路类型端口&#xff0c;一种交换机的主干道模式&#xff0c;2台交换机的2个端口之间是否能够建立干道连接&#xff0c;取决于这2个端口模式的组合。 Access端口在收到以太网帧后打开VLAN标签&#…...

生信豆芽菜-机器学习筛选特征基因

网址&#xff1a;http://www.sxdyc.com/mlscreenfeature 一、使用方法 1、准备数据 第一个文件&#xff1a;特征表达数据 第二个文件&#xff1a;分组信息&#xff0c;第一列为样本名&#xff0c;第二列为患者分组 第三个文件&#xff1a;分析基因名 2、选择机器学习的方…...

v-html富文本里面的图片设置宽高不起作用的原因

把scoped去掉...

pdf文档怎么压缩小一点?文件方法在这里

在日常工作和生活中&#xff0c;我们经常会遇到需要上传或者发送pdf文档的情况。但是&#xff0c;有时候pdf文档的大小超出了限制&#xff0c;需要我们对其进行压缩。那么&#xff0c;如何将pdf文档压缩得更小一点呢&#xff1f;下面&#xff0c;我将介绍三种方法&#xff0c;让…...

CMD关闭占用端口

1. netstat -ano | findstr :xxxx 2. taskkill /pid xxxx 3. 强制关闭taskkill/F /pid xxxx...

复制粘贴是怎么实现的

在上面的代码中&#xff0c;command 和 select 是自定义的函数。它们的作用如下&#xff1a; 实现复制粘贴的思路&#xff1a; 创建一个 textarea 标签将 textarea 移出可视区域给这个 textarea 赋值将这个 textarea 标签添加到页面中调用 textarea 的 select 方法调用 docum…...

mybatisplus多租户原理略解

概述 当前mybatisPlus版本 <dependency><groupId>com.baomidou</groupId><artifactId>mybatis-plus-boot-starter</artifactId><version>3.5.3.2</version> </dependency>jdk版本&#xff1a;17 springboot版本&#xff1a;…...

Spring整合RabbitMQ-配制文件方式-1-消息生产者

Spring-amqp是对AMQP的一些概念的一些抽象&#xff0c;Spring-rabbit是对RabbitMQ操作的封装实现。 主要有几个核心类RabbitAdmin、RabbitTemplate、SimpleMessageListenerContainer等 RabbitAdmin类完成对Exchange、Queue、Binding的操作&#xff0c;在容器中管理 了RabbitA…...

Python Opencv实践 - 凸包检测(ConvexHull)

import cv2 as cv import numpy as np import matplotlib.pyplot as pltimg cv.imread("../SampleImages/stars.png") plt.imshow(img[:,:,::-1])img_contour img.copy() #得到灰度图做Canny边缘检测 img_gray cv.cvtColor(img_contour, cv.COLOR_BGR2GRAY) edges…...

IP网络广播系统有哪些优点

IP网络广播系统有哪些优点 IP网络广播系统有哪些优点&#xff1f; IP网络广播系统是基于 TCP/IP 协议的公共广播系统&#xff0c;采用 IP 局域网或 广域网作为数据传输平台&#xff0c;扩展了公共广播系统的应用范围。随着局域网络和 网络的发展 , 使网络广播的普及变为可能 …...

【LeetCode】83. 删除排序链表中的重复元素

83. 删除排序链表中的重复元素&#xff08;简单&#xff09; 方法&#xff1a;一次遍历 思路 由于给定的链表是排好序的&#xff0c;因此重复的元素在链表中出现的位置是连续的&#xff0c;因此我们只需要对链表进行一次遍历&#xff0c;就可以删除重复的元素。 从指针 cur 指…...