当前位置： 首页 > news >正文

18 大量数据的异步查询方案

news 2026/2/8 12:44:24

在分布式的应用中分库分表大家都已经熟知了。如果我们的程序中需要做一个模糊查询，那就涉及到跨库搜索的情况，这个时候需要看中间件能不能支持跨库求交集的功能。比如mycat就不支持跨库查询，当然现在mycat也渐渐被摒弃了(没有处理笛卡尔交集的问题)，基本上都选shradingjdbc了。我们暂时不讨论数据库中间件的技术选型问题，讨论下我们一般面对海量数据的查询问题。

我们知道在数据库中的模糊查询需要全盘扫描，找的匹配的字符并返回，性能上就会比较慢，特别是数据量比较大的时候就是一个灾难。这个时候我们一般选择使用elasticsearch倒排索引去做模糊查询的中间件。es通过把字段进行分词操作，并把分词的元字段存储起来。通过分词映射到实际数据的方式避免全盘扫描的问题，如果是海量数据，es的存储压力比较大，那么我们把海量数据存储在分析型数据库中即可。如下图所示:
在这里插入图片描述

关于分析型数据库的列式存储不同数据库的实现不同，有兴趣的可以去了解下。主流的两种hbase和clickhouse，千亿条数据查询也是很快的，但是分析型数据库对修改的操作性能非常差，我们使用的时候注意这一点就可以了。这里不做细究。

我们在java程序中查询的时候通过es的分词找的数据实体，然后需要找全量数据的时候再到分析型数据库中查询即可。这样就可以解决海量数据查询的性能问题

相关文章：

18 大量数据的异步查询方案

在分布式的应用中分库分表大家都已经熟知了。如果我们的程序中需要做一个模糊查询，那就涉及到跨库搜索的情况，这个时候需要看中间件能不能支持跨库求交集的功能。比如mycat就不支持跨库查询，当然现在mycat也渐渐被摒弃了(没有处理笛卡尔交集的…...

编程日记 2025/2/6 9:20:47

DRM系列八：Drm之DRM_IOCTL_MODE_ADDFB2

本系列文章基于linux 5.15 在上一篇文章DRM系列七：Drm之DRM_IOCTL_MODE_CREATE_DUMB获取buf的handle和pitch之后，接着使用ioctl(fd, DRM_IOCTL_MODE_ADDFB2, &fb_cmd)创建一个新的帧缓冲区对象（framebuffer object),并将帧缓冲区对象与显…...

编程日记 2025/2/6 9:19:46

软件测试用例篇

设计测试用例是测试面试的必考题,务必好好学 1. 测试用例 测试用例的概念 测试⽤例（Test Case）是为了实施测试而向被测试的系统提供的⼀组集合，这组集合包含：测试环境、操作步骤、测试数据、预期结果等要素。 设计测试⽤…...

编程日记 2025/2/6 9:15:41

PopupMenuButton组件的功能和用法

文章目录 1 概念介绍2 使用方法3 示例代码 我们在上一章回中介绍了Sliver综合示例相关的内容，本章回中将介绍PopupMenuButton组件.闲话休提，让我们一起Talk Flutter吧。 1 概念介绍 我们在本章回中介绍的PopupMenuButton组件位于AppBar右侧，…...

编程日记 2025/2/6 9:13:38

Python进行模型优化与调参

在数据科学与机器学习领域，模型的优化与调参是提高模型性能的重要步骤之一。模型优化可以帮助提高模型的准确性和泛化能力，而合理的调参则能够充分发挥模型的潜力。这篇教程将重点介绍几种常用的模型优化与调参方法，特别是超参数调整和正则化技术的应用。这些技术能够有效地…...

编程日记 2025/2/6 9:12:37

vue2-组件通信

文章目录 vue2-组件通信1. 为什么需要组件通信2. props传递数据3. $emit触发自定义事件4.ref5. EventBus6. p a r e n t 和 parent和 parent和root7. a t t r s 和 attrs和 attrs和listeners8. provide和inject9. vuex10. 总结 vue2-组件通信 1. 为什么需要组件通信 在VUE中…...

编程日记 2025/2/6 9:11:36

20250205确认荣品RK3566开发板在Android13下可以使用命令行reboot -p关机

20250205确认荣品RK3566开发板在Android13下可以使用命令行reboot -p关机 2025/2/5 16:10 缘起：荣品RK3566开发板在Android13下，希望通过Native C语言程序来控制RK3566的关机。 通过ADB，很容易通过reboot -p命令关机。 最开始以为需要su/root…...

编程日记 2025/2/6 9:10:35

设计模式---观察者模式

设计模式—观察者模式 定义对象间的一种一对多的依赖关系，当一个对象的状态发生改变时，所有依赖于它的对象都得到通知并被自动更新。 主要解决的问题：一个对象状态改变给其他对象通知的问题，而且要考虑到易用和低耦合，…...

编程日记 2025/2/6 9:08:33

初八开工！开启数字化转型新征程!

新年新气象，大年初八，我们斗志昂扬，共同奔赴充满希望的新一年！ 2025 年意义非凡，这是广州市开利网络科技有限公司成立的第 18 个年头 。回首过往，我们一路拼搏，一路成长，积累了深厚的…...

编程日记 2025/2/6 9:02:26

文本分析NLP的常用工具和特点

1）非上下文感知型文本分析工具和特点 特性VADERTextBlob适合文本类型短文本、非正式语言（如评论、推文）中等长度、正式文本情感强度分析支持（正面、负面、中性）支持（极行、主观性）处理表情符号…...

编程日记 2025/2/6 9:00:22

DeepSeek 与 ChatGPT 对比分析

一、技术背景与研发团队 ChatGPT 由 OpenAI 开发，自 2015 年 OpenAI 成立以来，经过多年的技术积累和迭代，从 GPT-1 到 GPT-4o，每一次升级都带来了技术上的突破。OpenAI 拥有雄厚的技术实力和海量的数据、强大的算力支持&#xff…...

编程日记 2025/2/6 8:58:18

vite---依赖优化选项esbuildOptions详解

optimizeDeps.esbuildOptions vite.optimizeDeps.esbuildOptions 是 Vite 配置中的一个选项，它允许你在 Vite 启动时，给 esbuild（Vite 用来处理代码转换和优化的工具）传递额外的配置。通过这个配置项，你可以自定义 esb…...

编程日记 2025/2/6 8:55:14

ElasticSearch 学习课程入门（二）

引子 前文已经介绍了ES的增删改查基本操作，接下来，我们学习下高级点的用法。OK，那就让我们开始吧。 一、ES高级操作 1、条件查询 （1）GET https://127.0.0.1:9200/shopping/_search?qcategory:小米 （2&…...

编程日记 2025/2/6 8:54:12

使用 Redis Streams 实现高性能消息队列

1. 引言 在后端开发中，消息队列是一个常见的组件，主要用于解耦系统、提高吞吐量以及实现异步处理。常见的消息队列包括 Kafka、RabbitMQ 以及 ActiveMQ，但 Redis Streams 作为 Redis 5.0 引入的新特性，也提供了一种高效、轻量的消…...

编程日记 2025/2/6 8:51:05

深度学习｜表示学习｜卷积神经网络｜DeconvNet是什么？｜18

如是我闻： DeconvNet（反卷积网络）是一种可视化 CNN（卷积神经网络）内部特征的方法，用于理解 CNN 是如何提取图像特征的。这个方法由 Zeiler & Fergus（2013） 提出，目的…...

编程日记 2025/2/6 8:49:02

(优先级队列（堆）) 【本节目标】 1. 掌握堆的概念及实现 2. 掌握 PriorityQueue 的使用

优先级队列（堆） 1. 优先级队列1.1 概念 2. 优先级队列的模拟实现2.1 堆的概念2.2 堆的存储方式2.3 堆的创建2.3.1 堆向下调整2.3.2 堆的创建2.3.3 建堆的时间复杂度 【本节目标】 掌握堆的概念及实现掌握 PriorityQueue 的使用 1. 优先级队列 1.1 概念…...

编程日记 2025/2/6 8:48:01

优化数据库结构

MySQL学习大纲 一个好的数据库设计方案对于数据库的性能尝尝会起到事倍功半的效果，合理的数据库结构不仅使数据库占用更小的磁盘空间，而且使查询速度更快。数据库结构的设计需要考虑数据冗余、查询和更新速度、字段的数据类型是否合理等多方面的内容&…...

编程日记 2025/2/6 8:41:55

密云生活的初体验

【】在《岁末随笔之碎碎念》里，我通告了自己搬新家的事情。乙巳年开始，我慢慢与大家分享自己买房装修以及在新家的居住体验等情况。 跳过买房装修的内容，今天先说说这三个月的生活体验。 【白河】 潮白河是海河水系五大河之一，贯穿…...

编程日记 2025/2/6 8:40:53

图像分类与目标检测算法

在计算机视觉领域，图像分类与目标检测是两项至关重要的技术。它们通过对图像进行深入解析和理解，为各种应用场景提供了强大的支持。本文将详细介绍这两项技术的算法原理、技术进展以及当前的落地应用。 一、图像分类算法 图像分类是指将输入的图像划分为…...

编程日记 2025/2/6 8:39:49

计算机网络——流量控制

流量控制的基本方法是确保发送方不会以超过接收方处理能力的速度发送数据包。 通常的做法是接收方会向发送方提供某种反馈，如： （1）停止&等待 在任何时候只有一个数据包在传输，发送方发送一个数据包，…...

编程日记 2025/2/6 8:30:37

手游刚开服就被攻击怎么办？如何防御DDoS？

开服初期是手游最脆弱的阶段，极易成为DDoS攻击的目标。一旦遭遇攻击，可能导致服务器瘫痪、玩家流失，甚至造成巨大经济损失。本文为开发者提供一套简洁有效的应急与防御方案，帮助快速应对并构建长期防护体系。 一、遭遇攻击的紧急应…...

编程新知 2026/2/8 4:37:03

解决本地部署 SmolVLM2 大语言模型运行 flash-attn 报错

出现的问题 安装 flash-attn 会一直卡在 build 那一步或者运行报错 解决办法 是因为你安装的 flash-attn 版本没有对应上，所以报错，到 https://github.com/Dao-AILab/flash-attention/releases 下载对应版本，cu、torch、cp 的版本一定要对…...

编程新知 2025/11/3 2:11:24

Spring是如何解决Bean的循环依赖：三级缓存机制

1、什么是 Bean 的循环依赖 在 Spring框架中，Bean 的循环依赖是指多个 Bean 之间‌互相持有对方引用‌，形成闭环依赖关系的现象。 多个 Bean 的依赖关系构成环形链路，例如： 双向依赖：Bean A 依赖 Bean B，同时 Bean B 也依赖 Bean A（A↔B）。链条循环： Bean A → Bean…...

编程新知 2025/7/25 1:21:53

ubuntu22.04有线网络无法连接，图标也没了

今天突然无法有线网络无法连接任何设备，并且图标都没了 错误案例 往上一顿搜索，试了很多博客都不行，比如 Ubuntu22.04右上角网络图标消失 最后解决的办法 下载网卡驱动，重新安装 操作步骤 查看自己网卡的型号 lspci | gre…...

编程新知 2026/2/6 13:01:28

Neko虚拟浏览器远程协作方案：Docker+内网穿透技术部署实践

前言：本文将向开发者介绍一款创新性协作工具——Neko虚拟浏览器。在数字化协作场景中，跨地域的团队常需面对实时共享屏幕、协同编辑文档等需求。通过本指南，你将掌握在Ubuntu系统中使用容器化技术部署该工具的具体方案，并结合内网…...

编程新知 2026/1/27 9:02:37

智能职业发展系统：AI驱动的职业规划平台技术解析

智能职业发展系统：AI驱动的职业规划平台技术解析 引言：数字时代的职业革命 在当今瞬息万变的就业市场中，传统的职业规划方法已无法满足个人和企业的需求。据统计，全球每年有超过2亿人面临职业转型困境，而企业也因此遭…...

编程新知 2025/9/26 10:15:18

图解JavaScript原型：原型链及其分析 | JavaScript图解

​​ 忽略该图的细节（如内存地址值没有用二进制） 以下是对该图进一步的理解和总结 1. JS 对象概念的辨析 对象是什么：保存在堆中一块区域，同时在栈中有一块区域保存其在堆中的地址（也就是我们通常说的该变量指向谁&…...

编程新知 2026/2/5 3:03:00

ArcPy扩展模块的使用(3)

管理工程项目 arcpy.mp模块允许用户管理布局、地图、报表、文件夹连接、视图等工程项目。例如，可以更新、修复或替换图层数据源，修改图层的符号系统，甚至自动在线执行共享要托管在组织中的工程项。 以下代码展示了如何更新图层的数据源&…...

编程新知 2025/10/2 7:24:40

【1】跨越技术栈鸿沟：字节跳动开源TRAE AI编程IDE的实战体验

2024年初，人工智能编程工具领域发生了一次静默的变革。当字节跳动宣布退出其TRAE项目（一款融合大型语言模型能力的云端AI编程IDE）时，技术社区曾短暂叹息。然而这一退场并非终点——通过开源社区的接力，TRAE在WayToAGI等…...

编程新知 2026/1/31 20:18:53

使用python进行图像处理—图像滤波（5）

图像滤波是图像处理中最基本和最重要的操作之一。它的目的是在空间域上修改图像的像素值，以达到平滑（去噪）、锐化、边缘检测等效果。滤波通常通过卷积操作实现。 5.1卷积(Convolution)原理 卷积是滤波的核心。它是一种数学运算，…...

编程新知 2025/10/23 13:48:47