当前位置： 首页 > news >正文

18 大量数据的异步查询方案

news 2026/2/7 18:10:23

在分布式的应用中分库分表大家都已经熟知了。如果我们的程序中需要做一个模糊查询，那就涉及到跨库搜索的情况，这个时候需要看中间件能不能支持跨库求交集的功能。比如mycat就不支持跨库查询，当然现在mycat也渐渐被摒弃了(没有处理笛卡尔交集的问题)，基本上都选shradingjdbc了。我们暂时不讨论数据库中间件的技术选型问题，讨论下我们一般面对海量数据的查询问题。

我们知道在数据库中的模糊查询需要全盘扫描，找的匹配的字符并返回，性能上就会比较慢，特别是数据量比较大的时候就是一个灾难。这个时候我们一般选择使用elasticsearch倒排索引去做模糊查询的中间件。es通过把字段进行分词操作，并把分词的元字段存储起来。通过分词映射到实际数据的方式避免全盘扫描的问题，如果是海量数据，es的存储压力比较大，那么我们把海量数据存储在分析型数据库中即可。如下图所示:
在这里插入图片描述

关于分析型数据库的列式存储不同数据库的实现不同，有兴趣的可以去了解下。主流的两种hbase和clickhouse，千亿条数据查询也是很快的，但是分析型数据库对修改的操作性能非常差，我们使用的时候注意这一点就可以了。这里不做细究。

我们在java程序中查询的时候通过es的分词找的数据实体，然后需要找全量数据的时候再到分析型数据库中查询即可。这样就可以解决海量数据查询的性能问题

相关文章：

18 大量数据的异步查询方案

在分布式的应用中分库分表大家都已经熟知了。如果我们的程序中需要做一个模糊查询，那就涉及到跨库搜索的情况，这个时候需要看中间件能不能支持跨库求交集的功能。比如mycat就不支持跨库查询，当然现在mycat也渐渐被摒弃了(没有处理笛卡尔交集的…...

编程日记 2025/2/6 9:20:47

DRM系列八：Drm之DRM_IOCTL_MODE_ADDFB2

本系列文章基于linux 5.15 在上一篇文章DRM系列七：Drm之DRM_IOCTL_MODE_CREATE_DUMB获取buf的handle和pitch之后，接着使用ioctl(fd, DRM_IOCTL_MODE_ADDFB2, &fb_cmd)创建一个新的帧缓冲区对象（framebuffer object),并将帧缓冲区对象与显…...

编程日记 2025/2/6 9:19:46

软件测试用例篇

设计测试用例是测试面试的必考题,务必好好学 1. 测试用例 测试用例的概念 测试⽤例（Test Case）是为了实施测试而向被测试的系统提供的⼀组集合，这组集合包含：测试环境、操作步骤、测试数据、预期结果等要素。 设计测试⽤…...

编程日记 2025/2/6 9:15:41

PopupMenuButton组件的功能和用法

文章目录 1 概念介绍2 使用方法3 示例代码 我们在上一章回中介绍了Sliver综合示例相关的内容，本章回中将介绍PopupMenuButton组件.闲话休提，让我们一起Talk Flutter吧。 1 概念介绍 我们在本章回中介绍的PopupMenuButton组件位于AppBar右侧，…...

编程日记 2025/2/6 9:13:38

Python进行模型优化与调参

在数据科学与机器学习领域，模型的优化与调参是提高模型性能的重要步骤之一。模型优化可以帮助提高模型的准确性和泛化能力，而合理的调参则能够充分发挥模型的潜力。这篇教程将重点介绍几种常用的模型优化与调参方法，特别是超参数调整和正则化技术的应用。这些技术能够有效地…...

编程日记 2025/2/6 9:12:37

vue2-组件通信

文章目录 vue2-组件通信1. 为什么需要组件通信2. props传递数据3. $emit触发自定义事件4.ref5. EventBus6. p a r e n t 和 parent和 parent和root7. a t t r s 和 attrs和 attrs和listeners8. provide和inject9. vuex10. 总结 vue2-组件通信 1. 为什么需要组件通信 在VUE中…...

编程日记 2025/2/6 9:11:36

20250205确认荣品RK3566开发板在Android13下可以使用命令行reboot -p关机

20250205确认荣品RK3566开发板在Android13下可以使用命令行reboot -p关机 2025/2/5 16:10 缘起：荣品RK3566开发板在Android13下，希望通过Native C语言程序来控制RK3566的关机。 通过ADB，很容易通过reboot -p命令关机。 最开始以为需要su/root…...

编程日记 2025/2/6 9:10:35

设计模式---观察者模式

设计模式—观察者模式 定义对象间的一种一对多的依赖关系，当一个对象的状态发生改变时，所有依赖于它的对象都得到通知并被自动更新。 主要解决的问题：一个对象状态改变给其他对象通知的问题，而且要考虑到易用和低耦合，…...

编程日记 2025/2/6 9:08:33

初八开工！开启数字化转型新征程!

新年新气象，大年初八，我们斗志昂扬，共同奔赴充满希望的新一年！ 2025 年意义非凡，这是广州市开利网络科技有限公司成立的第 18 个年头 。回首过往，我们一路拼搏，一路成长，积累了深厚的…...

编程日记 2025/2/6 9:02:26

文本分析NLP的常用工具和特点

1）非上下文感知型文本分析工具和特点 特性VADERTextBlob适合文本类型短文本、非正式语言（如评论、推文）中等长度、正式文本情感强度分析支持（正面、负面、中性）支持（极行、主观性）处理表情符号…...

编程日记 2025/2/6 9:00:22

DeepSeek 与 ChatGPT 对比分析

一、技术背景与研发团队 ChatGPT 由 OpenAI 开发，自 2015 年 OpenAI 成立以来，经过多年的技术积累和迭代，从 GPT-1 到 GPT-4o，每一次升级都带来了技术上的突破。OpenAI 拥有雄厚的技术实力和海量的数据、强大的算力支持&#xff…...

编程日记 2025/2/6 8:58:18

vite---依赖优化选项esbuildOptions详解

optimizeDeps.esbuildOptions vite.optimizeDeps.esbuildOptions 是 Vite 配置中的一个选项，它允许你在 Vite 启动时，给 esbuild（Vite 用来处理代码转换和优化的工具）传递额外的配置。通过这个配置项，你可以自定义 esb…...

编程日记 2025/2/6 8:55:14

ElasticSearch 学习课程入门（二）

引子 前文已经介绍了ES的增删改查基本操作，接下来，我们学习下高级点的用法。OK，那就让我们开始吧。 一、ES高级操作 1、条件查询 （1）GET https://127.0.0.1:9200/shopping/_search?qcategory:小米 （2&…...

编程日记 2025/2/6 8:54:12

使用 Redis Streams 实现高性能消息队列

1. 引言 在后端开发中，消息队列是一个常见的组件，主要用于解耦系统、提高吞吐量以及实现异步处理。常见的消息队列包括 Kafka、RabbitMQ 以及 ActiveMQ，但 Redis Streams 作为 Redis 5.0 引入的新特性，也提供了一种高效、轻量的消…...

编程日记 2025/2/6 8:51:05

深度学习｜表示学习｜卷积神经网络｜DeconvNet是什么？｜18

如是我闻： DeconvNet（反卷积网络）是一种可视化 CNN（卷积神经网络）内部特征的方法，用于理解 CNN 是如何提取图像特征的。这个方法由 Zeiler & Fergus（2013） 提出，目的…...

编程日记 2025/2/6 8:49:02

(优先级队列（堆）) 【本节目标】 1. 掌握堆的概念及实现 2. 掌握 PriorityQueue 的使用

优先级队列（堆） 1. 优先级队列1.1 概念 2. 优先级队列的模拟实现2.1 堆的概念2.2 堆的存储方式2.3 堆的创建2.3.1 堆向下调整2.3.2 堆的创建2.3.3 建堆的时间复杂度 【本节目标】 掌握堆的概念及实现掌握 PriorityQueue 的使用 1. 优先级队列 1.1 概念…...

编程日记 2025/2/6 8:48:01

优化数据库结构

MySQL学习大纲 一个好的数据库设计方案对于数据库的性能尝尝会起到事倍功半的效果，合理的数据库结构不仅使数据库占用更小的磁盘空间，而且使查询速度更快。数据库结构的设计需要考虑数据冗余、查询和更新速度、字段的数据类型是否合理等多方面的内容&…...

编程日记 2025/2/6 8:41:55

密云生活的初体验

【】在《岁末随笔之碎碎念》里，我通告了自己搬新家的事情。乙巳年开始，我慢慢与大家分享自己买房装修以及在新家的居住体验等情况。 跳过买房装修的内容，今天先说说这三个月的生活体验。 【白河】 潮白河是海河水系五大河之一，贯穿…...

编程日记 2025/2/6 8:40:53

图像分类与目标检测算法

在计算机视觉领域，图像分类与目标检测是两项至关重要的技术。它们通过对图像进行深入解析和理解，为各种应用场景提供了强大的支持。本文将详细介绍这两项技术的算法原理、技术进展以及当前的落地应用。 一、图像分类算法 图像分类是指将输入的图像划分为…...

编程日记 2025/2/6 8:39:49

计算机网络——流量控制

流量控制的基本方法是确保发送方不会以超过接收方处理能力的速度发送数据包。 通常的做法是接收方会向发送方提供某种反馈，如： （1）停止&等待 在任何时候只有一个数据包在传输，发送方发送一个数据包，…...

编程日记 2025/2/6 8:30:37

YSYX学习记录（八）

C语言&#xff0c;练习0&#xff1a; 先创建一个文件夹&#xff0c;我用的是物理机&#xff1a; 安装build-essential 练习1&#xff1a; 我注释掉了 #include <stdio.h> 出现下面错误 在你的文本编辑器中打开ex1文件&#xff0c;随机修改或删除一部分&#xff0c;之后…...

编程新知 2026/1/24 14:31:01

Vue2 第一节_Vue2上手_插值表达式{{}}_访问数据和修改数据_Vue开发者工具

文章目录 1.Vue2上手-如何创建一个Vue实例,进行初始化渲染2. 插值表达式{{}}3. 访问数据和修改数据4. vue响应式5. Vue开发者工具--方便调试 1.Vue2上手-如何创建一个Vue实例,进行初始化渲染 准备容器引包创建Vue实例 new Vue()指定配置项 ->渲染数据 准备一个容器,例如: …...

编程新知 2026/2/7 10:59:19

【单片机期末】单片机系统设计

主要内容&#xff1a;系统状态机&#xff0c;系统时基&#xff0c;系统需求分析&#xff0c;系统构建&#xff0c;系统状态流图 一、题目要求 二、绘制系统状态流图 题目&#xff1a;根据上述描述绘制系统状态流图&#xff0c;注明状态转移条件及方向。 三、利用定时器产生时…...

编程新知 2026/1/31 12:27:36

Linux-07 ubuntu 的 chrome 启动不了

文章目录 问题原因解决步骤一、卸载旧版chrome二、重新安装chorme三、启动不了&#xff0c;报错如下四、启动不了&#xff0c;解决如下 总结 问题原因 在应用中可以看到chrome&#xff0c;但是打不开(说明&#xff1a;原来的ubuntu系统出问题了&#xff0c;这个是备用的硬盘&a…...

编程新知 2026/1/29 17:56:19

实现弹窗随键盘上移居中

实现弹窗随键盘上移的核心思路 在Android中&#xff0c;可以通过监听键盘的显示和隐藏事件&#xff0c;动态调整弹窗的位置。关键点在于获取键盘高度&#xff0c;并计算剩余屏幕空间以重新定位弹窗。 // 在Activity或Fragment中设置键盘监听 val rootView findViewById<V…...

编程新知 2025/10/6 18:46:56

OPENCV形态学基础之二腐蚀

一.腐蚀的原理 (图1) 数学表达式&#xff1a;dst(x,y) erode(src(x,y)) min(x,y)src(xx,yy) 腐蚀也是图像形态学的基本功能之一&#xff0c;腐蚀跟膨胀属于反向操作&#xff0c;膨胀是把图像图像变大&#xff0c;而腐蚀就是把图像变小。腐蚀后的图像变小变暗淡。 腐蚀…...

编程新知 2026/1/24 20:09:04

React---day11

14.4 react-redux第三方库 提供connect、thunk之类的函数 以获取一个banner数据为例子 store&#xff1a; 我们在使用异步的时候理应是要使用中间件的&#xff0c;但是configureStore 已经自动集成了 redux-thunk&#xff0c;注意action里面要返回函数 import { configureS…...

编程新知 2026/1/19 2:13:24

算法岗面试经验分享-大模型篇

文章目录 A 基础语言模型A.1 TransformerA.2 Bert B 大语言模型结构B.1 GPTB.2 LLamaB.3 ChatGLMB.4 Qwen C 大语言模型微调C.1 Fine-tuningC.2 Adapter-tuningC.3 Prefix-tuningC.4 P-tuningC.5 LoRA A 基础语言模型 A.1 Transformer &#xff08;1&#xff09;资源 论文&a…...

编程新知 2026/1/23 11:58:06

浪潮交换机配置track检测实现高速公路收费网络主备切换NQA

浪潮交换机track配置 项目背景高速网络拓扑网络情况分析通信线路收费网络路由 收费汇聚交换机相应配置收费汇聚track配置 项目背景 在实施省内一条高速公路时遇到的需求&#xff0c;本次涉及的主要是收费汇聚交换机的配置&#xff0c;浪潮网络设备在高速项目很少&#xff0c;通…...

编程新知 2026/2/6 13:10:51

上位机开发过程中的设计模式体会(1)：工厂方法模式、单例模式和生成器模式

简介 在我的 QT/C 开发工作中&#xff0c;合理运用设计模式极大地提高了代码的可维护性和可扩展性。本文将分享我在实际项目中应用的三种创造型模式&#xff1a;工厂方法模式、单例模式和生成器模式。 1. 工厂模式 (Factory Pattern) 应用场景 在我的 QT 项目中曾经有一个需…...

编程新知 2025/8/18 3:01:22