科技云报到:大模型时代下,向量数据库的野望
科技云报到原创。
自ChatGPT爆火,国内头部平台型公司一拥而上,先后发布AGI或垂类LLM,但鲜有大模型基础设施在数据层面的进化,比如向量数据库。
在此之前,向量数据库经历了几年的沉寂期,现在似乎终于乘着ChatGPT的东风成为资本的“宠儿”。然而,一年狂飙之后,市场逐渐退潮,因此有人质疑,向量数据库又凉了?
判断一条赛道是否真的有潜力,资本的注入虽是前提,但更重要的还有市场的态度。大模型应用的逐步落地于向量数据库而言,无疑是最好的催熟剂。
然而任何新技术的到来,都需要更长的时间才能得到市场的接受。
一份关于向量数据库的市场研究是,随着AI应用场景加速落地,据西南证券分析,预计2025年向量数据库渗透率约为30%,其中,中国向量数据库市场规模约为82.56亿元。而据中国信通院测算,到2025年,中国数据库市场规模将达688亿元。这意味着,两年后向量数据库在中国的渗透率将超过10%。
在国内,不少数据库厂商都在尝试推出向量数据库产品,然而从市场验证阶段走向实现盈利,中间还需要一段更漫长的时间。向量数据库究竟是虚火过旺还是星辰大海?在向量数据库这条赛道,能否看到更远的未来?
向量数据库,刚刚开始
向量数据库,顾名思义,是一种专门处理向量数据的数据库。在传统的关系型数据库中,数据通常以表格形式存储,而向量数据库则将非结构化数据(如文本、图像、音频等)转换为向量形式进行存储。这种数据表示方法使得向量数据库能够高效地处理大规模、高维度的数据集,为AI提供了强大的计算基础。
如果说数据库是数据的“硬盘”,那么,向量数据库就是更适合AI体质的“硬盘”,其“AI原生”的体质,具体表现在以下几个方面。
首先,是更高的效率。AI算法,要从图像、音频和文本等海量的非结构化数据中学习,提取出以向量为表示形式的“特征”,以便模型能够理解和处理。因此,向量数据库比传统基于索引的数据库有明显优势。
其次,更低的成本。大模型要从一种新技术转化为产业价值,必须达到合理的投入产出比,而向量数据库可以有效减少存储和计算成本。一个公开数据是,通过腾讯云向量数据库,QQ音乐人均听歌时长提升3.2%、腾讯视频有效曝光人均时长提升1.74%、QQ浏览器成本降低37.9%,就在于检索效率、运行稳定性、运营效率、推荐算法等,有了较大的提升。
第三,更强的数据安全。企业想做大模型,还要确保数据的隐私安全,就必须与数据库产品做好配合,这给向量数据库的本地部署带来了广阔的需求。
第四,更大的扩展性。随着大模型走向行业应用,垂直领域的AI用例不断增多,汹涌的数据洪潮和存算任务,会带来大量向量搜索的需求。而向量数据库嵌入向量的长度不受限制,具有良好的扩展性,可以根据AI用例和模型而变化,更好地处理大规模数据集。
从大模型技术标杆的OpenAI发布的GPT-4o和即将发布的GPT-5消息来看,以及国内外商业化大模型的进展来看,大模型的技术路线还没有发生颠覆性的变革,因此落地应用还是需要向量检索和向量数据库。
由此可见,向量数据库与AI的关系紧密相连。在大模型兴起之前,传统数据库已经在不断尝试与AI结合,主要涉及以下几个方向:数据存储与管理、数据清洗与预处理、数据检索与查询、数据集成与共享、数据安全与隐私保护。随着大模型的兴起,可以看到在这些方向上,数据库与AI间的关联比以往任何时候都要密切。
此外,AI 大模型的兴起还为数据库注入了预测估算的能力。AI模型可以通过学习历史数据和模式,对未来的趋势和结果进行预测和估算。传统数据库可以集成AI模型,实现对数据的预测分析。这使得数据库可以不仅提供对历史数据的查询和分析,还能够提供对未来数据的预测和估算结果,帮助用户做出更准确的决策。
总的来说,几乎所有类型的数据库都在积极向AI靠拢,比如在数据库中添加向量索引,数据库和AI已经密不可分,两者相辅相成,共同推动着技术的进步和应用的拓展。
两大新势力,云是方向
传统数据库厂商不必多说,既有相应的能力建设,也有一定的客户基础,推出相关产品是必然。一些在AI领域积淀已久的科技大厂,如谷歌、微软、Meta、百度等大厂,都有向量数据库的技术积累,也都可以向外输出相关能力和产品。
除了这些常规面孔,向量数据库市场也吸引了新的参与者。作为这一轮大模型投资热和创业热的主要目标之一,向量数据库领域诞生了不少创新创业公司。比如AI创业新秀Pinecone就是闭源的领跑者,凭借良好的开箱即用的产品体验,获得了非常大的增长,B轮估值达到7.5亿美元。其他竞争者大多建立在开源项目的基础上。
不过,作为创业公司,长期盈利能力还有待验证。一个主要原因,是客户大多是尝鲜、实验性质。
企业需要先将非结构化的私密数据,放入一个小的模型中进行数据转化,即数据向量化,产生一个向量的矩阵,再存储到向量数据库里,来供大模型学习和检索。这个过程涉及大量的工程化,会耗费企业许多开发人员、时间成本,一开始可能会因为AI大模型很火而对向量数据库产生兴趣,但能否真正在业务中落地还是个未知数。因此,长期付费意愿还有较大的不确定性。
另一股积极参与的新势力,就是公有云厂商。
从2017年到2019年,于向量数据库的发展而言,是一段更为重要的时间。腾讯云、百度智能云、京东科技等也恰都是在这个时间段将向量数据库的相关组件应用到具体的业务之上。
实际上,这段时间所对应的背景也正是,非结构化数据需求的激增。
一个具有代表性的事件是,2017年,短视频的爆火,催生了新媒体行业,各种结构数据也随之出现。这一现象就导致了不同结构数据的处理需求。
除此之外,京东、腾讯和百度的内部产品也有更多类似的需求。而向量化引擎也正是从这一时间点开始萌芽。
事实上,不是所有企业都有能力自建大模型所需要的基础设施,通过MaaS(模型即服务)业务来训练应用大模型,是更灵活的选择。此外,很多政企客户往往会选择公有云或行业云来满足其业务需求,对云数据库的关注度和接受度上升,而这些用户在探索大模型时,会倾向于以整体解决方案的形式来交付,这就给了云厂商参与到此赛道机会,同时也要求云厂商提供向量数据库的全栈支持。
如今头部云厂商基本建立了全生命周期AI化的向量数据库。有数据显示,企业原先接入一个大模型需要花1个月左右时间,使用某公有云的向量数据库后,3天时间即可完成,极大降低了企业的接入成本。
更何况,前不久火山引擎、阿里云、百度智能云等都围绕大模型API价格,打起了互相抄底的“价格战”,意味着AI创新门槛的降低,而AI应用市场的用户规模扩大,也会带动向量数据库的使用需求。
综合来看,整个云AI市场的格局还在快速变化之中,风物长宜放眼量,AI Native的向量数据库,前景仍然值得期待。
向量数据库,展望AGI时代
从某种程度上而言,无论是向量数据库,还是大模型,归根结底,大家在追捧它时的心态,焦虑大于需求。而这种焦虑则来源于“害怕被落下”。
大模型、多模态等新技术、新应用的出现,正在迅速刷新着人们对AGI时代的期待,仿佛它下一刻就会到来。
而向量数据库的热潮,在一定程度上“外化”了人们的焦虑。但这并不能否定向量数据库的实际价值,甚至更长远的价值。
虽然,目前向量数据库仍处于发展初期,但可以确定的是,向量数据库与大模型一定是捆绑关系。因此,未来其演进方向也一定随着大模型能力的演进而发生变化。
腾讯云数据库副总经理罗云认为,向量数据库帮助大模型解决在专有领域知识不足的问题。通用大模型是基于海量的互联网业务和数据去训练的,但对于一些细分的垂直行业缺少知识。而向量数据库可以帮助企业打通企业私有知识库和大模型的连接,帮助企业更好地利用大模型等AI新技术去实现企业的降本增效,推动企业从“数字化”到“数智化”的跃升,这就是向量数据库在AI时代的重要的定位和价值。
而在具体的演进方向上,向量数据库一定会考虑多模态数据的表达以及数据的智能化管理。
首先,在大模型应用百花齐放的背景下,向量数据库对于多模态数据的处理意义,变得十分重要。
罗云进一步举例,比如某教育客户,把一些线下的教育课程,甚至老师上课的教育提纲,全部作为向量,存储到腾讯云的向量数据库里。当家长想要去咨询某节课老师讲了什么,就可以把存储在向量数据库里面内容检索出来,再交给大模型按照人们能理解的语言来回答,这就将向量数据库与大模型进行了很好的匹配。
如果没有向量数据库参与,以及没有合理的多模态数据处理方式,这种情况下是无法查询出这些数据的。
但随着多模态数据规模上的提升,另一个问题也随之出现。不同数据库中数据如何将其统一管理并让数据流通起来,这就涉及到的智能化管理也是向量数据库未来的发力点。
向量数据库作为处理多样性和复杂性数据挑战的得力工具,为各行业提供了高效、灵活的数据管理解决方案。其高维索引、相似性查询、向量聚合等特点,使其在推荐系统、搜索引擎、社交媒体分析、生物信息学和图像视频分析等多个领域得到了成功应用。
不可否认,向量数据库的未来既蕴含着广阔的发展空间,也面临着诸多挑战。得益于大模型火热,向量数据库已逐渐成为资本市场的青睐之选。在未来的AGI道路上,向量数据库仍需要砥砺前行。
【关于科技云报到】
企业级IT领域Top10新媒体。聚焦云计算、人工智能、大模型、网络安全、大数据、区块链等企业级科技领域。原创文章和视频获工信部权威认可,是世界人工智能大会、数博会、国家网安周、可信云大会与全球云计算等大型活动的官方指定传播媒体之一。
相关文章:

科技云报到:大模型时代下,向量数据库的野望
科技云报到原创。 自ChatGPT爆火,国内头部平台型公司一拥而上,先后发布AGI或垂类LLM,但鲜有大模型基础设施在数据层面的进化,比如向量数据库。 在此之前,向量数据库经历了几年的沉寂期,现在似乎终于乘着Ch…...

贪吃蛇游戏(代码篇)
我们并不是为了满足别人的期待而活着。 前言 这是我自己做的第五个小项目---贪吃蛇游戏(代码篇)。后期我会继续制作其他小项目并开源至博客上。 上一小项目是贪吃蛇游戏(必备知识篇),没看过的同学可以去看看…...

数控走心机系统可以定制吗
当然,走心机系统是可以定制的。随着数控技术的不断发展,走心机的数控系统越来越灵活,可以根据用户的具体需求进行定制和优化。下面,我将从几个方面来详细解答这个问题: 一、系统定制的必要性 1. 满足不同加工需求…...

PHP实现OID(Object identifier)的编码和解码
转载于:https://bkssl.com/document/php_oid_encode_decode.html <?phpclass ASN1ObjectIdentifier {/*** OID字符串编码为二进制数据* param string $oid 字符串形式的OID* return string*/public static function encode($oid){$parts explode(., $oid);$pa…...

架构设计笔记-12-信息系统架构设计理论与实践
目录 知识要点 案例分析 1.Java企业级应用系统 2.c/s架构,b/s架构 知识要点 软件架构风格是描述某一特定应用领域中系统组织方式的惯用模式。架构风格定义了一类架构所共有的特征,主要包括架构定义、架构词汇表和架构约束。 数据挖掘是从数据库的大…...

【Power Compiler手册】15.多角多模式设计中的功耗优化
多角多模式设计中的功耗优化 可以使用多个运行条件和多种模式进行综合的设计被称为多角多模式设计。Design Compiler Graphical工具扩展了拓扑技术,以分析和优化这些设计。 有关多角多模式技术支持的综合工具的更多信息,请参见以下主题: • 优化多角多模式设计 • 报告命…...

关于HalconDeeplearn中的语义分割的实现
1.读取数据和数据集 read_dl_model (C:/Users/user/Desktop/大蒜测试/包裹/model_训练-240926-191345_opt.hdl, DLModelHandle) read_dict(C:/Users/user/Desktop/大蒜测试/包裹/model_训练-240926-162708_opt_dl_preprocess_params.hdict,[], [], DLDataset) 2.读取识别图片 I…...

【STL】AVLTree模拟实现
AVLTree模拟实现 1 前言2 AVL树的插入2.1 平衡因子不继续向上更新的情况2.2 平衡因子变为2或者-2,发生旋转2.2.1 左单旋2.2.2 右单旋2.2.3 左右双旋2.2.4 右左双旋 3 代码 1 前言 二叉搜索树的不足:如果出现极端情况,效率会变得很低。 AVL&am…...

无极低码课程【tomcat部署windows环境厂家乱码处理】
windows 下tomcat安装 下载地址一:https://tomcat.apache.org/download-90.cgi 下载地址二:https://archive.apache.org/dist/tomcat/ 解压tomcat,进入bin目录运行startup.bat...

注册安全分析报告:惠农网
前言 由于网站注册入口容易被黑客攻击,存在如下安全问题: 暴力破解密码,造成用户信息泄露短信盗刷的安全问题,影响业务及导致用户投诉带来经济损失,尤其是后付费客户,风险巨大,造成亏损无底洞…...

Qualitor checkAcesso.php 任意文件上传漏洞复现(CVE-2024-44849)
0x01 漏洞概述 Qualitor 8.24及之前版本存在任意文件上传漏洞,未经身份验证远程攻击者可利用该漏洞代码执行,写入WebShell,进一步控制服务器权限。 0x02 复现环境 FOFA:app="Qualitor-Web" 0x03 漏洞复现 PoC POST /html/ad/adfilestorage/request/checkAcess…...

PHP-FPM和FastCGI
文章目录 前言一. FastCGI1.定义2.工作方式3.协议4.架构5.工作原理(请求生命周期) 二. PHP-FPM1.定义:2.特性3.进程管理模式4.工作流程 三.关系与应用四.配置示例五.性能优化六.配置选项七.常见问题及解决方案 前言 PHP-FPM 是基于 FastCGI …...

【Linux快速入门(二)】Linux与ROS学习之编译基础(make编译)
目录 零.前置篇章 一.make的由来 二.安装make 三.编写Makefile 四.编译运行 五.删除可执行文件 零.前置篇章 第一篇【Linux快速入门】Linux与ROS学习之编译基础(gcc编译)_linuxros-CSDN博客 一.make的由来 "make"是一个用于自…...

jupyterlab的安装与使用攻略/包括汉化方法
官网链接 Project Jupyter | Home 1.第一步安装 打开控制台 使用pip工具安装 pip install jupyterlab 如图 2.安装成功后启动 jupyter lab 会自动启动它的web页面 然后就可以正常使用咯!! 如果需要更换浏览器访问 新开控制台执行下面命令 jupy…...

std::list
std::list是C标准库中的一个序列容器,它提供了双向链表的功能。std::list允许在序列的任何位置高效地插入和删除元素,而不会引起其他元素的移动,这使得std::list在需要频繁插入和删除操作的场景中非常有用。 std::list的特性: 双…...

opencv-rust 系列2: camera_calibration
opencv-rust 系列2: camera_calibration 前言: 这里只是opencv-rust自带示例的中文注解. 略微增加了一些代码也是我在调试时用到的. 说明: camera_calibration.rs是opencv-rust自带的示例, 在examples目录中可以找到,我增加了一些中文注释如下.如需运行可以在项目根目录执行命…...

JVM和GC案例详解
接上文JVM环境配置说明:上文博客 一、JVM远程连接设置 1. JMX方式连接(这种方式没有GC监控),设置如下 2. 连接成功后可以查看基础配置参数(和服务器配置一致) 2. jstatd方式连接(这种方式没有CPU监控) 添加jstatd方式连接 双击Tomcat࿰…...

postgreSql下载安装
一、下载 官网:PostgreSQL: The worlds most advanced open source database 二、安装 1.找到.exe文件,双击安装 2.跟着安装向导操作 三、启动...

GPT-SOVIT模型部署指南
一、模型介绍 强大的小样本语音转换和文本转语音 WebUI。 具有以下特征: 零样本 TTS: 输入 5 秒的声音样本并体验即时文本到语音的转换。少量样本 TTS: 仅使用 1 分钟的训练数据对模型进行微调,以提高语音相似度和真实感。跨语…...

怎么定时发朋友圈?
要实现微信朋友圈的定时发布,可以采用以下几种方法: 1、 绑定QQ号并使用QQ空间定时功能: 于微信和QQ的紧密联系,可以通过绑定QQ号,利用QQ空间的定时发布功能来间接实现微信朋友圈的定时发布。首先,在QQ空…...

如何利用phpstudy创建mysql数据库
phpStudy诞生于2007年,是一款老牌知名的PHP开发集成环境工具,产品历经多次迭代升级,目前有phpStudy经典版、phpStudy V8(2019版)等等,利用phpstudy可以快速搭建一个mysql环境,接下来我们就开始吧…...

五、Linux之Vi和Vim编辑器
基本介绍 Vi Linux 系统会内置 vi 文本编辑 Vim 具有程序编辑的能力,可以看做是 Vi 的增强版本,可以主动的以字体颜色辨别语法的正确性,方便程序设计。 代码补完、编译及错误跳转等方便编程的功能特别丰富 常用的三种模式 正常模式 以 vim …...

git删除错误的commit
文章目录 1、git删除错误的commit2、.gitignore配置文件不生效的问题 1、git删除错误的commit git的流程如图: 当某次失误造成commit的版本有问题,需要回退到正常的版本修改后重新add。 首先通过git log查看commit提交记录,可以看到HEAD-…...

代码随想录算法训练营Day08 | 344.反转字符串、541. 反转字符串II、卡码网:54.替换数字
文章目录 344.反转字符串思路与重点 541. 反转字符串II思路与重点 卡码网:54.替换数字思路与重点 344.反转字符串 题目链接:344. 反转字符串 - 力扣(LeetCode)讲解链接:代码随想录 (programmercarl.com)状态ÿ…...

mysql锁之乐观锁、悲观锁、表锁、行锁、共享锁、排他锁
mysql锁之乐观锁、悲观锁、表锁、行锁、共享锁、排他锁 MySQL锁概述 锁是计算机协调多个进程或线程并发访问某一个资源的机制,在数据库中,除传统的计算资源(CPU、RAM、I/O)的争用以外,数据也是一种供许多用户共享的资…...

【软件干货】Android应用进程如何保活?
1.Android 应用进程保活方法介绍 在Android应用程序中,为了保证应用的正常运行和稳定性,有时需要对应用进程进行保活。以下是一些实现进程保活的方法: 1、使用前台服务(Foreground Service):将服务调用startForeground()方法&…...

neo4j部署保姆级教程
由于公司是基于大数据架构的,让部署neo4j数据库,之前没有接触过,然后紧急学了一下,并且从网上找了一些教程,决定还是记录下来,后续有时间了会在出一篇使用教程 环境准备(root用户) …...

【STM32CubeMX开发】-2.2-TIM_输出一个PWM信号
目录 1 Tim定时器的时钟源 2 Tim定时器的配置 2.1 PWM配置 2.2 中断配置 3 生成代码 4 测试结果 结尾 1 Tim定时器的时钟源 TIM3的时钟来源自APB1 Timer clocks,时钟树上所有总线频率均设置为了STM32F0能达到的最高频率,此时APB1 Timer clocks …...

Ngx+Lua+Redis 快速存储POST数据
系统几万台设备有windows有安卓还有linux系统,每个设备三分钟就会向服务器post设备的硬件信息,数据格式json,后台管理界面只需要最新的数据,不需要历史数据,业务逻辑非常简单,PHP代码就几行,已经…...

go-delve的使用
go-delve的非交互使用方式: dlv要执行的命令文件:cmd.dlv goroutines exit 执行非交互命令: yes n | dlv --allow-non-terminal-interactivetrue attach $pid --init cmd.dlv --end--...