当前位置： 首页 > news >正文

KingabseES执行计划-分区剪枝(partition pruning)

news 文章来源：https://blog.csdn.net/lyu1026/article/details/129273555 2025/2/1 5:49:28

概述

分区修剪(Partition Pruning)是分区表性能的查询优化技术 。在分区修剪中，优化器分析SQL语句中的FROM和WHERE子句，以在构建分区访问列表时消除不需要的分区。此功能使数据库只能在与SQL语句相关的分区上执行操作。

参数 enable_partition_pruning 设置启用或禁用分区剪枝。

分区修剪的好处

分区修剪大大减少了从磁盘检索的数据量，缩短了处理时间，从而提高了查询性能并优化了资源利用率。

根据实际的SQL语句，Kingbase数据库可使用静态或动态修剪。静态修剪发生在编译时，预先访问有关分区的信息。动态修剪发生在运行时，这意味着语句要访问的确切分区事先是未知的。静态修剪的示例场景是一个SQL语句，该语句包含一个WHERE条件，分区键列上有一个常量文本。动态修剪的一个例子是在WHERE条件中使用运算符或函数。

可用于分区修剪的信息

可以对分区列执行分区修剪。

当您在范围或列表分区列上使用range、LIKE、 = 和IN列表谓词时，以及当您在哈希分区列中使用 = 或 IN列表谓词后，Kingbase数据库将修剪分区。

对于多级分区对象，Kingbase数据库可以使用相关谓词在每个级别上进行修剪。

Kingbase使用分区列上的谓词执行分区修剪，如下所示：

  • 当使用范围分区时，Kingbase只访问分区p2和p3，表示2020年二月和三月的分区。
  • 当使用哈希子分区时，Kingbase只访问每个分区中存储productid=100行的一个子分区。子分区和谓词之间的映射是基于Kingbase的内部哈希分布函数计算的。
CREATE TABLE orders_range_hash
(productid  int,saledate   DATE,custid     int,totalprice numeric
)PARTITION BY RANGE (saledate) SUBPARTITION BY HASH (productid) SUBPARTITIONS 8(PARTITION p1 VALUES LESS THAN(TO_DATE('2020-01-01', 'YYYY-MM-DD')),PARTITION p2 VALUES LESS THAN(TO_DATE('2022-02-01', 'YYYY-MM-DD')),PARTITION p3 VALUES LESS THAN(TO_DATE('2022-03-01', 'YYYY-MM-DD')),PARTITION p4 VALUES LESS THAN(TO_DATE('2022-04-01', 'YYYY-MM-DD')));SELECT *
FROM orders_range_hash
WHERE saledate BETWEEN (TO_DATE('2020-01-10', 'YYYY-MM-DD')) AND (TO_DATE('2020-02-11', 'YYYY-MM-DD'))AND productid = 100;

如何确定是否已使用分区修剪

不仅在给定查询的规划期间可以执行分区剪枝，在其执行期间也能执行分区剪枝。 这非常有用，因为如果子句中包含查询规划时值未知的表达式时，这可以剪枝掉更多的分区； 例如在PREPARE语句中定义的参数会使用从子查询拿到的值，或者嵌套循环连接内侧关系上的参数化值。 执行期间的分区剪枝可能在下列任何时刻执行：

  • 在查询计划的初始化期间。对于执行的初始化阶段就已知值的参数，可以在这里执行分区剪枝。这个阶段中被剪枝掉的分区将不会显示在查询的EXPLAIN或EXPLAIN ANALYZE结果中。通过观察EXPLAIN输出的“Subplans Removed”属性，可以确定被剪枝掉的分区数。
  • 在查询计划的实际执行期间。这里可以使用只有在实际查询执行时才能知道的值执行分区剪枝。这包括来自子查询的值以及来自执行时参数的值(例如来自于参数化嵌套循环连接的参数)。由于在查询执行期间这些参数的值可能会改变多次，所以只要分区剪枝使用到的执行参数发生改变，就会执行一次分区剪枝。要判断分区是否在这个阶段被剪枝，需要仔细地观察EXPLAIN ANALYZE输出中的loops属性。 对应于不同分区的子计划可以具有不同的值，这取决于在执行期间每个分区被修剪的次数。 如果每次都被剪枝，有些分区可能会显示为(never executed)。

静态分区修剪

根据静态谓词确定何时使用静态修剪。

在许多情况下，优化器确定编译时要访问的分区。如果使用静态谓词，则会发生静态分区修剪。

如果在解析时，优化器可以识别访问的连续分区集，则执行计划中，将显示正在访问的分区的条件范围。

CREATE TABLE orders_list
(productid  int,saledate   DATE,custid     int,totalprice numeric
)
PARTITION BY LIST (custid)(PARTITION p1 VALUES  (1,2),PARTITION p2 VALUES  (3,4),PARTITION p2 VALUES  (5,6));explain analyzed
select * from orders_list
where custid = 3;Seq Scan on orders_list_p2  (cost=0.00..23.38 rows=5 width=48) (actual time=0.016..0.020 rows=17 loops=1)Filter: (custid = 3)Rows Removed by Filter: 17
Planning Time: 0.107 ms
Execution Time: 0.037 ms

动态分区修剪

如果可以修剪，但无法进行静态修剪，则进行动态修剪，因为分区键值仅在执行时获知。

使用绑定变量进行动态修剪

对分区列使用绑定变量的语句会导致动态修剪。

\set vid 4explain select * from orders_list where custid = :vid;QUERY PLAN
----------------------------------------------------------------Seq Scan on orders_list_p2  (cost=0.00..23.38 rows=5 width=48)Filter: (custid = 4)
(2 行记录)do$$declarec1 text;beginfor c1 in execute 'explain select * from orders_list where custid = :vid' using (random() * 10)::int % 6 + 1loopraise info '%',c1;end loop;end;$$;信息:  Seq Scan on orders_list_p1  (cost=0.00..23.38 rows=5 width=48)
信息:    Filter: (custid = 2)
ANONYMOUS BLOCK

使用子查询进行动态修剪

对分区列显式使用子查询的语句会导致动态修剪。

分区节点的(never executed)，表示执行了分区修剪。如果过滤条件使用IN子查询，则不能分区修剪。

explain (costs off,analyze)
with v as (select (random() * 10)::int % 2 + 1 id)
select *
from orders_list
where custid = (select v.id from v);QUERY PLAN
-----------------------------------------------------------------------------Append (actual time=0.028..0.033 rows=17 loops=1)CTE v->  Result (actual time=0.004..0.004 rows=1 loops=1)InitPlan 2 (returns $1)->  CTE Scan on v (actual time=0.007..0.008 rows=1 loops=1)->  Seq Scan on orders_list_p1 (actual time=0.015..0.018 rows=17 loops=1)Filter: (custid = $1)Rows Removed by Filter: 16->  Seq Scan on orders_list_p2 (never executed)Filter: (custid = $1)->  Seq Scan on orders_list_p3 (never executed)Filter: (custid = $1)Planning Time: 0.172 msExecution Time: 0.069 ms
(14 行记录)explain (costs off,analyze)
with v as (select (random() * 10)::int % 2 + 1 id)
select *
from orders_list
where custid in (select v.id from v);QUERY PLAN
-----------------------------------------------------------------------------------Hash Semi Join (actual time=0.046..0.067 rows=16 loops=1)Hash Cond: (orders_list_p1.custid = v.id)CTE v->  Result (actual time=0.005..0.005 rows=1 loops=1)->  Append (actual time=0.009..0.023 rows=100 loops=1)->  Seq Scan on orders_list_p1 (actual time=0.008..0.010 rows=33 loops=1)->  Seq Scan on orders_list_p2 (actual time=0.003..0.004 rows=34 loops=1)->  Seq Scan on orders_list_p3 (actual time=0.002..0.004 rows=33 loops=1)->  Hash (actual time=0.012..0.012 rows=1 loops=1)Buckets: 1024  Batches: 1  Memory Usage: 9kB->  CTE Scan on v (actual time=0.008..0.008 rows=1 loops=1)Planning Time: 0.303 msExecution Time: 0.095 ms
(13 行记录)

具有关联需求的动态修剪

等于(=)谓词，限制子查询的结果只能有一行。IN 、EXISTS、ANY 等方式，使用子查询时，不能执行动态修剪。多表连接，也不能执行动态修剪。

这种不能使用动态修剪的情况，可以使用LATERAL语法解决。

LATERAL子查询不能是简单子查询。

explain (costs off ,analyze)
with t (id) as (values (1), (2))
select *
from t, lateral ( select * from orders_list t1 where t1.custid = t.id limit all) t1;QUERY PLAN
--------------------------------------------------------------------------------------Nested Loop (actual time=0.022..0.037 rows=33 loops=1)->  Values Scan on "*VALUES*" (actual time=0.002..0.003 rows=2 loops=1)->  Append (actual time=0.009..0.013 rows=16 loops=2)->  Seq Scan on orders_list_p1 t1 (actual time=0.007..0.009 rows=16 loops=2)Filter: (custid = "*VALUES*".column1)Rows Removed by Filter: 16->  Seq Scan on orders_list_p2 t1_1 (never executed)Filter: (custid = "*VALUES*".column1)->  Seq Scan on orders_list_p3 t1_2 (never executed)Filter: (custid = "*VALUES*".column1)Planning Time: 0.189 msExecution Time: 0.072 ms

分区修剪提示

使用分区修剪时，应考虑以下事项：

  • 数据类型转换

    若要从分区修剪中获得最大的性能优势，应避免使用需要数据库转换指定数据类型的构造。

  • 函数调用

    避免在分区列上使用隐式或显式函数。如果您的查询通常使用函数调用，请考虑在这些情况下使用虚拟列和虚拟列分区，以从分区修剪中受益。

相关文章：

KingabseES执行计划-分区剪枝(partition pruning)

概述 分区修剪(Partition Pruning)是分区表性能的查询优化技术 。在分区修剪中，优化器分析SQL语句中的FROM和WHERE子句，以在构建分区访问列表时消除不需要的分区。此功能使数据库只能在与SQL语句相关的分区上执行操作。 参数 enable_partition_pruning 设…...

编程日记 2023/3/1 12:16:13

Operator-sdk 在 KaiwuDB 容器云中的使用

一、使用背景KaiwuDB Operator 是一个自动运维部署工具，可以在 Kubernetes 环境上部署 KaiwuDB集群，借助 Operator 可实现无缝运行在公有云厂商提供的 Kubernetes 平台上，让 KaiwuDB 成为真正的 Cloud-Native 数据库。使用传统的自动化工具会…...

编程日记 2023/3/1 12:14:37

【数据挖掘】2、数据预处理

文章目录一、数据预处理的意义1.1 缺失数据1.1.1 原因1.1.2 方案1.1.3 离群点分析1.2 重复数据1.2.1 原因1.2.2 去重的方案1.3 数据转换1.4 数据描述二、数据预处理方法2.1 特征选择 Feature Selection2.2 特征提取 Feature Extraction2.2.1 PCA 主成分分析2.2.2 LDA 线性判别分…...

编程日记 2023/3/1 12:13:19

（四十六）大白话在数据库里，哪些操作会导致在表级别加锁呢？

之前我们已经给大家讲解了数据库里的行锁的概念，其实还是比较简单，容易理解的，因为在讲解锁这个概念之前，对于多事务并发以及隔离，我们已经深入讲解过了，所以大家应该很容易在脑子里有一个多事务并发执行的…...

编程日记 2023/3/1 12:09:51

【Android源码面试宝典】MMKV从使用到原理分析（二）

上一章节，我们从使用入手，进行了MMKV的简单讲解，我们通过分析简单的运行时日志，从中大概猜到了一些MMKV的代码内部流程，同时，我们也提出了若干的疑问？还是那句话，带着目标（问题）去阅读一篇源码，那么往往收获的知识，更加深入&扎实。 本节，我们一起来从源码层次…...

编程日记 2023/3/1 12:08:37

如何使用ADFSRelay分析和研究针对ADFS的NTLM中继攻击

关于ADFSRelay ADFSRelay是一款功能强大的概念验证工具，可以帮助广大研究人员分析和研究针对ADFS的NTLM中继攻击。 ADFSRelay这款工具由NTLMParse和ADFSRelay这两个实用程序组成。其中，NTLMParse用于解码base64编码的NTLM消息，并打印有关消…...

编程日记 2023/3/1 12:07:22

【Python学习笔记】第二十二节 Python XML 解析

一、什么是XMLXML即ExtentsibleMarkup Language(可扩展标记语言)，是用来定义其它语言的一种元语言。XML 被设计用来传输和存储数据。XML 是一套定义语义标记的规则，它没有标签集(tagset)，也没有语法规则(grammatical rule)。任何XML文档对任何…...

编程日记 2023/3/1 12:05:56

5分钟轻松拿下Java枚举

文章目录一、枚举(Enum)1.1 枚举概述1.2 定义枚举类型1.2.1 静态常量案例1.2.2 枚举案例1.2.3 枚举与switch1.3 枚举的用法1.3.1 枚举类的成员1.3.2 枚举类的构造方法1）枚举的无参构造方法2）枚举的有参构造方法1.3.3 枚举中的抽象方法1.4 Enum 类1.4.1 E…...

编程日记 2023/3/1 12:04:36

华为OD机试【独家】提供C语言题解 - 最小传递延迟

最近更新的博客 华为od 2023 | 什么是华为od，od 薪资待遇，od机试题清单华为OD机试真题大全，用 Python 解华为机试题 | 机试宝典【华为OD机试】全流程解析+经验分享,题型分享,防作弊指南）华为od机试，独家整理 已参加机试人员的实战技巧文章目录 最近更新的博客使用说明最小…...

编程日记 2023/3/1 12:03:15

【Web前端】关于JS数组方法的一些理解

一、具备栈特性的方法unshift(...items: T[]) : number将一个或多个元素添加到数组的开头，并返回该数组的新长度。shift(): T | undefined从数组中删除第一个元素，并返回该元素的值。此方法更改数组的长度。二、具备队列特性的方法push(...items: T[]): …...

编程日记 2023/3/1 12:01:54

多智能体集群协同控制笔记（1）:线性无领航多智能体系统的一致性

对于连续时间高阶线性多智能体系统的状态方程为： x˙i(t)Axi(t)Bui(t),i1,2..N\dot {\mathbf{x}}_i(t)A\mathbf{x}_i(t)B\mathbf{u}_i(t),i1,2..N x˙i​(t)Axi​(t)Bui​(t),i1,2..N 下标iii代表第iii个智能体，ui(t)∈Rq1\mathbf{u}_i(t)\in R^{q \time…...

编程日记 2023/3/1 12:00:34

hadoop-Yarn资源调度器【尚硅谷】

大数据学习笔记 Yarn资源调度器 Yarn是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台，而MapReduce等运算程序则相当于运行与操作系统之上的应用程序。 （也就是负责MapTask、ReduceTask等任…...

编程日记 2023/3/1 11:59:13

聊聊如何避免多个jar通过maven打包成一个jar，多个同名配置文件发生覆盖问题

前言 不知道大家在开发的过程中，有没有遇到这种场景，外部的项目想访问内部nexus私仓的jar，因为私仓不对外开放，导致外部的项目没法下载到私仓的jar，导致项目因缺少jar而无法运行。 通常遇到这种场景，常用…...

编程日记 2023/3/1 11:57:50

Flume 使用小案例

案例一：采集文件内容上传到HDFS 1）把Agent的配置保存到flume的conf目录下的 file-to-hdfs.conf 文件中 # Name the components on this agent a1.sources r1 a1.sinks k1 a1.channels c1 # Describe/configure the source a1.sources.r1.type spoo…...

编程日记 2023/3/1 11:56:32

DLO-SLAM代码阅读

文章目录DLO-SLAM点评代码解析OdomNode代码结构主函数 main激光回调函数 icpCB初始化 initializeDLO重力对齐 gravityAlign点云预处理 preprocessPoints关键帧指标 computeMetrics设定关键帧阈值setAdaptiveParams初始化目标数据 initializeInputTarget设置源数据 setInputSour…...

编程日记 2023/3/1 11:55:18

X和Ku波段小尺寸无线电设计

卫星通信、雷达和信号情报(SIGINT)领域的许多航空航天和防务电子系统早就要求使用一部分或全部X和Ku频段。随着这些应用转向更加便携的平台，如无人机(UAV)和手持式无线电等，开发在X和Ku波段工作，同时仍然保持极高性能水平的新型小尺寸、低功耗…...

编程日记 2023/3/1 11:54:04

推荐算法 - 汇总

本文主要对推荐算法整体知识点做汇总，做到总体的理解；深入理解需要再看专业的材料。推荐算法的意义推荐根据用户兴趣和行为特点，向用户推荐所需的信息或商品，帮助用户在海量信息中快速发现真正所需的商品，提高用户黏性…...

编程日记 2023/3/1 11:52:46

Android 系统的启动流程

前言：从开机的那一刻，到开机完成后launcher将所有应用进行图标展示的这个过程，大概会有哪一些操作？执行了哪些代码？作为Android开发工程师的我们，有必要好好的梳理一遍。既然要梳理Android系统的启动流程&a…...

编程日记 2023/3/1 11:51:11

自学5个月Java找到了9K的工作，我的方式值得大家借鉴 第二部分

我的学习心得，我认为能不能自学成功的要素有两点。 第一点就是自身的问题，虽然想要转行学习Java的人很多，但是非常强烈的想要转行学好的人是小部分。而大部分人只是抱着试试的心态来学习Java，这是完全不可能的。所以能不能学成Jav…...

编程日记 2023/3/1 11:49:49

Vue 3 第五章：reactive全家桶

文章目录1. reactive1.1. reactive函数创建一个响应式对象1.2. 修改reactive创建的响应式对象的属性2. readOnly2.1. 使用 readonly 函数创建一个只读的响应式对象2.2. 如何修改嵌套在只读响应式对象中的对象?3. shallowReactive3.1. 使用 shallowReactive 函数创建一个浅层响…...

编程日记 2023/3/1 11:48:40

【联机对战】微信小程序联机游戏开发流程详解

现有一个微信小程序叫中国象棋项目，棋盘类的单机游戏看着有缺少了什么，现在给补上了，加个联机对战的功能，增加了可玩性，对新手来说，实现联机游戏还是有难度的，那要怎么实现的呢，接下…...

编程日记 2023/3/1 11:47:03

优化基于axios接口管理的骚操作

优化基于axios接口管理的骚操作！ 本文针对中大型的后台项目的接口模块优化，在不影响项目正常运行的前提下，增量更新。 强化功能 1.接口文件写法简化（接口模块半自动化生成） 2.任务调度、Loading调度（接口层…...

编程日记 2023/3/1 11:45:46

【Django功能开发】如何正确使用定时任务（启动、停止）

系列文章目录 【Django开发入门】ORM的增删改查和批量操作 【Django功能开发】编写自定义manage命令 文章目录系列文章目录前言一、django定时任务二、django-apscheduler基本使用1.安装django-apscheduler2.配置settings.py的INSTALLED_APPS3.通过命令生成定时记录表3.如何创…...

编程日记 2023/3/1 11:44:34

7个好用到爆的音频、配乐素材网站，BGM都在这里了

现在只要有一部手机，人人都能成为视频创作者。一个好的视频不能缺少的就是内容、配乐，越来越注重版权的当下，音效素材使用不当造成侵权的案例层出不穷。为了避免侵权，找素材让很多创作者很头疼。 今天我就整理了7个可以免费下载&…...

编程日记 2023/3/1 11:43:12

JUC(二)

1.可重入锁–ReentrantLock原理 1.1.非公平锁的实现原理 1.1.1.加锁解锁流程 1>.先从构造器开始看,默认为非公平锁,可以在构造函数中设置参数指定公平锁 public ReentrantLock() {sync = new NonfairSync(); }public ReentrantLock...

编程日记 2023/3/1 11:41:52

ATS认证教学

我用的版本是ATS7.11、系统版本是用最新的ios13.2.1 定义 ATS旨在分析通过UART、USB和蓝牙传输传输的iAP流量、通过USB和无线（蓝牙和Wi-Fi）传输的CarPlay流量、通过Wi-Fi传输的AirPlay 2流量以及闪电音频流量。 ATS是Apple’s Accessory Test System的…...

编程日记 2023/3/1 11:40:41

【操作系统】进程管理

进程与线程 1. 进程 进程是资源分配的基本单位 进程控制块 (Process Control Block, PCB) 描述进程的基本信息和运行状态，所谓的创建进程和撤销进程，都是指对 PCB 的操作。 下图显示了 4 个程序创建了 4 个进程，这 4 个进程可以并发地执行…...

编程日记 2023/3/1 11:39:20

一分钟掌握技术术语：API（接口）

很多产品经理在项目开发过程中经常听到：你调我这个接口就好了；这个功能你写个接口给我；有什么不懂的就看下API接口文档。 开发经常说的接口是什么意思呢？术语解释：API（Application Programming Interface&…...

编程日记 2023/3/1 11:37:45

RabbitMQ之交换机

交换机 在上一节中，我们创建了一个工作队列。我们假设的是工作队列背后，每个任务都恰好交付给一个消费者(工作进程)。在这一部分中，我们将做一些完全不同的事情-我们将消息传达给多个消费者。这种模式称为“发布/订阅”. 为了说明这种模式，我们将构建一个简单的日志系统。它…...

编程日记 2023/3/1 11:36:34

Tensorflow深度学习对遥感图像分类，内存不够怎么办？

问题描述在使用Tensorflow-cpu对图像分类的时候，在预读数据过程中，由于数据量过大，内存不足，导致计算失败。使用环境：win10系统 Pycharm tensorflow-cpu2.5.0 CPU: i7 8700 内存64G图1 CPU配置图图2 内存信息图使用数据…...

编程日记 2023/3/1 11:35:22

做网站前台要学什么课程/做seo要投入什么

首先，写一下分页查询的原理：sql语句： #语法 SELECT * FROM table LIMIT stratIndex，pageSize SELECT * FROM table LIMIT 5,10; // 检索记录行 6-15 #为了检索从某一个偏移量到记录集的结束所有的记录行，可以指定第二…...

编程日记 2025/1/31 23:12:22

学网页设计报班/浑江区关键词seo排名优化

创建云上的数据恢复计划，很重要的一点是持续跟踪基础架构，DR需求和可能的故障转移持续时间。 公有云给IT部门提供了绝佳的机会来实现业务的持续性/灾难恢复计划，而无需花费巨资构建独享的数据中心。有了云数据恢复系统之后，云就可…...

编程日记 2025/1/31 22:54:27

dw做游戏网站代码/怎么去推广自己的平台

String对象是我们日常使用的对象类型，字符串对象或者其等价对象（如char数组），在内存中总是占据了最大的空间块，因此如何高效地处理字符串，是提高系统整体性能的关键。 在此之前，String作为一个…...

编程日记 2025/1/31 22:10:57

node.js 做网站/成都关键词seo推广电话

面试自我介绍看似简单，要说好却不容易，特别是对于JAVA程序员来说，英文相对来说差一点都会很苦恼。下面学习啦小编为大家带来java面试英语自我介绍，供大家参考!java面试英语自我介绍篇1Good morning. Its a pleasure for me presen…...

编程日记 2025/1/31 17:39:55

电子商务网站网络拓扑/北京口碑最好的教育机构

问&#xff1a;如何决定使用 HashMap 还是 TreeMap&#xff1f; 介绍 TreeMap<K,V>的Key值是要求实现java.lang.Comparable&#xff0c;所以迭代的时候TreeMap默认是按照Key值升序排序的&#xff1b;TreeMap的实现是基于红黑树结构。适用于按自然顺序或自定义顺序遍历键…...

编程日记 2025/1/31 17:13:45

河南建设工程信息网推荐中项网/成都seo网络优化公司

2、获取签约账号的支付宝安全校验码&#xff08;key&#xff09;和合作者身份ID&#xff08;partner &#xff09; 如何查询合作者身份ID&#xff08;partner&#xff09;和交易安全校验码&#xff08;key&#xff09; 3、如果您网站是网店论坛系统&#xff08;如&#xff1a;S…...

编程日记 2025/1/31 14:59:45