当前位置： 首页 > news >正文

ClickHouse入门篇:一文带你学习ClickHouse

news 文章来源：https://blog.csdn.net/lin819747263/article/details/137655643 2025/4/21 17:18:43

ClickHouse 是一个用于联机分析处理(OLAP)的列式数据库管理系统(DBMS)。由于其独特的数据存储和处理架构，ClickHouse 能够提供高速数据插入和实时查询性能。下面是对 ClickHouse 的详细介绍，包括其特性、应用场景和架构：

特性

  1. 列式存储: 数据按列而不是按行存储，这使得对于OLAP系统中常见的聚合查询能够更快地执行。
  2. 数据压缩: 利用列式存储，ClickHouse 能够有效压缩数据，减少磁盘空间的占用并提高查询性能。
  3. 向量化执行: 查询执行过程中，操作是在数据的整列上进行的，而不是一行一行地进行，这进一步提高了性能。
  4. 实时查询: ClickHouse 支持在数据被插入数据库的同时进行查询，使其非常适合需要实时数据分析的场景。
  5. 高度可扩展: 支持水平扩展，可以通过增加更多的节点来提高数据库的处理能力和存储容量。
  6. 容错性: 支持数据复制和分片，提高了数据的可靠性和系统的可用性。

应用场景

  1. 大数据分析: 对于需要处理和分析大量数据的应用，如日志分析、用户行为分析等。
  2. 实时报表: 适用于需要生成实时数据报表的场景，如监控系统、实时业务指标监控等。
  3. 时序数据分析: 适合处理和分析时序数据，如物联网(IoT)设备数据、金融交易数据等。
  4. 在线广告和推荐系统: 用于处理和分析用户行为数据，以便实时调整广告展示和推荐内容。

存储引擎

ClickHouse 的存储引擎是其高性能的关键所在，主要包括几种不同的存储引擎，每种都有其特定的用途和优化点。以下是对ClickHouse主要存储引擎的详细介绍：

MergeTree

MergeTree 是 ClickHouse 中最常用的存储引擎，它专为处理大量数据而设计，支持实时的数据插入和高效的数据查询。

  • 高效的数据存储和压缩：利用列式存储，结合数据的类型和特点使用不同的压缩算法，以减少存储空间并提高查询性能。
  • 数据分区和排序：支持按指定键分区和排序，这有助于优化查询，特别是对于范围查询和过滤操作。
  • 背景合并：不同于传统数据库在插入时直接写入最终位置，MergeTree 引擎会先将数据写入临时分区，然后在后台异步合并这些分区以优化存储结构。
  • 数据复制和一致性：MergeTree 支持通过ZooKeeper进行数据的复制和一致性保证，增强了数据的可靠性和系统的容错能力。

ReplicatedMergeTree

ReplicatedMergeTree 是 MergeTree 的一个变种，它在 MergeTree 的基础上增加了数据复制的功能，使得数据可以在多个节点之间复制，以实现高可用和负载均衡。

  • 自动数据复制：利用ZooKeeper协调数据的复制和一致性，确保集群中的所有副本都能保持最新状态。
  • 故障转移和恢复：当某个节点发生故障时，可以自动从其他副本中恢复数据，保证服务的持续可用性。

SummingMergeTree

SummingMergeTree 专为需要执行数据聚合操作的场景设计。它在合并数据分区时会自动对指定的列进行求和操作，这样可以减少存储空间的使用，并提高聚合查询的效率。

  • 自动聚合：在后台合并过程中自动对数据进行聚合，减少了存储需求并提高了查询性能。
  • 适用场景：非常适合用于存储计数器、总和等聚合数据，如用户访问次数、销售总额等。

AggregatingMergeTree

AggregatingMergeTree 是一种更通用的聚合存储引擎，它不仅支持求和操作，还支持更复杂的聚合函数，如平均值、最小/最大值、唯一值计数等。

  • 复杂聚合支持：提供了一系列复杂的聚合操作，能够满足多样化的数据分析需求。
  • 高效的聚合查询：在数据合并过程中进行聚合计算，极大提高了聚合查询的响应速度。

Columnar存储特性

除了上述存储引擎外，ClickHouse 的所有存储引擎都继承了其列式存储的特性，这意味着数据是按列而不是按行存储的。列式存储带来的好处包括：

  • 更好的压缩比：相同数据类型的数据存储在一起，使得压缩算法能够更有效地工作。

  • 更快的查询速度：对于分析查询，通常只需要访问表中的几个列，列式存储使得系统可以只加载需要的列，从而减少I/O操作。

  • 向量化查询处理: 利用现代CPU的向量化指令集，可以在单个CPU周期内对多个数据点进行操作，大大提高了查询处理的效率。

TTL (Time To Live) 支持

ClickHouse 的存储引擎还支持 TTL (Time To Live)，允许自动清除过时的数据。这在处理日志和事件数据时特别有用，因为这些数据通常只在一段时间内有价值。

  • 自动数据管理：通过设置数据的存活时间，ClickHouse 可以自动删除或转移过期的数据，从而节省存储空间并维护系统性能。
  • 灵活的配置：TTL 可以针对整个表或者表的特定列进行设置，提供了灵活的数据管理策略。

相关文章：

ClickHouse入门篇:一文带你学习ClickHouse

ClickHouse 是一个用于联机分析处理(OLAP)的列式数据库管理系统(DBMS)。由于其独特的数据存储和处理架构，ClickHouse 能够提供高速数据插入和实时查询性能。下面是对 ClickHouse 的详细介绍，包括其特性、应用场景和架构： 特性 列式存储: 数…...

编程日记 2024/4/12 1:47:33

基于小程序实现的校园失物招领系统

作者主页：Java码库 主营内容：SpringBoot、Vue、SSM、HLMT、Jsp、PHP、Nodejs、Python、爬虫、数据可视化、小程序、安卓app等设计与开发。 收藏点赞不迷路 关注作者有好处 文末获取源码 技术选型 【后端】：Java 【框架】：spring…...

编程日记 2024/4/12 1:46:29

损失函数篇 | YOLOv8更换损失函数之Powerful-IoU（2024年最新IoU）

前言：Hello大家好，我是小哥谈。损失函数是机器学习中用来衡量模型预测值与真实值之间差异的函数。在训练模型时，我们希望通过不断调整模型参数，使得损失函数的值最小化，从而使得模型的预测值更加接近真实值。不同的损失函数适用于不同的问题，例如均方误差损失函数适用于回…...

编程日记 2024/4/12 1:45:28

（学习日记）2024.04.11：UCOSIII第三十九节：软件定时器

写在前面： 由于时间的不足与学习的碎片化，写博客变得有些奢侈。 但是对于记录学习（忘了以后能快速复习）的渴望一天天变得强烈。 既然如此 不如以天为单位，以时间为顺序，仅仅将博客当做一个知识学习的目录&a…...

编程日记 2024/4/12 1:44:27

wordpress全站开发指南-面向开发者及深度用户（全中文实操）--wordpress是什么

WordPress简介 WordPress是一个开源的内容管理系统（CMS），广泛用于创建和管理网站。它最初是作为一个博客平台开始的，但现在已经发展成为一个功能强大的网站建设工具，可以用于创建各种类型的网站，包括个人博…...

编程日记 2024/4/12 1:43:26

瑞_23种设计模式_访问者模式

文章目录 1 访问者模式（Visitor Pattern）1.1 介绍1.2 概述1.3 访问者模式的结构1.4 访问者模式的优缺点1.5 访问者模式的使用场景 2 案例一2.1 需求2.2 代码实现 3 案例二3.1 需求3.2 代码实现 4 拓展——双分派4.1 分派4.2 动态分派（多态&am…...

编程日记 2024/4/12 1:42:25

Docker网络代理配置 可能埋下的坑

Docker 网络代理配置 1. 在 /etc/systemd/system 目录下创建 docker.service.d 目录 sudo mkdir -p /etc/systemd/system/docker.service.d2. 在/etc/systemd/system/docker.service.d下创建 http-proxy.conf 文件 sudo touch /etc/systemd/system/docker.service.d/http-pr…...

编程日记 2024/4/12 1:41:21

外包干了3天，技术退步明显.......

先说一下自己的情况，大专生，19年通过校招进入杭州某软件公司，干了接近4年的功能测试，今年年初，感觉自己不能够在这样下去了，长时间呆在一个舒适的环境会让一个人堕落! 而我已经在一个企业干了四年的功能测…...

编程日记 2024/4/12 1:40:20

分布式向量数据库-安装部署

下载 GitHub - pgvector/pgvector: Open-source vector similarity search for Postgres 源码编译 ##文件解压缩 unzip pgvector-0.6.2.zip ##编译 make && make install 功能验证 #安装扩展CREATE EXTENSION vector;#创建测试表CREATE TABLE items (id bigseri…...

编程日记 2024/4/12 1:38:17

【深入理解计算机系统第3版】有符号数和无符号数转换以及移位运算练习题2.23

题目 考虑下面的C函数&#xff1a; int fun1(unsigned word) {return (int) ((word << 24) >> 24); }int fun2(unsigned word) {return ((int) word << 24) >> 24; } 假设一个采用补码运算的机器上以32位程序来执行这些函数。还假设有符号数值的右移…...

编程日记 2024/4/12 1:37:16

Linux函数学习 epoll

1、Linux epoll函数 1.1、创建epoll实例 int epoll_create1(int flag); 返回值&#xff1a;-1 失败&#xff0c;非负数 成功 flag &#xff1a;默认传入0 1.2、管理epoll对象 int epoll_ctl(int epfd, int op, int fd, struct epoll_event *event); epfd &#xff1a;e…...

编程日记 2024/4/12 1:36:15

2024年4月12日 十二生肖 今日运势

小运播报&#xff1a;2024年4月12日&#xff0c;星期五&#xff0c;农历三月初四 &#xff08;甲辰年戊辰月丙午日&#xff09;&#xff0c;法定工作日。 红榜生肖&#xff1a;羊、狗、虎 需要注意&#xff1a;牛、马、鼠 喜神方位&#xff1a;西南方 财神方位&#xff1a;…...

编程日记 2024/4/12 1:35:14

代码随想录第36、37天| 435. 无重叠区间 763.划分字母区间 56. 合并区间

435. 无重叠区间 435. 无重叠区间 - 力扣&#xff08;LeetCode&#xff09; 代码随想录 (programmercarl.com) 贪心算法&#xff0c;依然是判断重叠区间 | LeetCode&#xff1a;435.无重叠区间_哔哩哔哩_bilibili 给定一个区间的集合 intervals &#xff0c;其中 intervals[…...

编程日记 2024/4/12 1:33:11

代码学习记录40---动态规划

随想录日记part40 t i m e &#xff1a; time&#xff1a; time&#xff1a; 2024.04.10 主要内容&#xff1a;今天开始要学习动态规划的相关知识了&#xff0c;今天的内容主要涉及&#xff1a; 买卖股票的最佳时机加强版。 123.买卖股票的最佳时机III 188.买卖股票的最佳时机…...

编程日记 2024/4/12 1:31:09

java八股——消息队列MQ

上一篇传送门&#xff1a;点我 目前只学习了RabbitMQ&#xff0c;后续学习了其他MQ后会继续补充。 MQ有了解过吗&#xff1f;说说什么是MQ&#xff1f; MQ是Message Queue的缩写&#xff0c;也就是消息队列的意思。它是一种应用程序对应用程序的通信方法&#xff0c;使得应用…...

编程日记 2024/4/12 1:30:08

【前端Vue】Vue3+Pinia小兔鲜电商项目第5篇：整体认识和路由配置,本资源由 收集整理【附代码文档】

Vue3ElementPlusPinia开发小兔鲜电商项目完整教程&#xff08;附代码资料&#xff09;主要内容讲述&#xff1a;认识Vue3&#xff0c;使用create-vue搭建Vue3项目1. Vue3组合式API体验,2. Vue3更多的优势,1. 认识create-vue,2. 使用create-vue创建项目,1. setup选项的写法和执行…...

编程日记 2024/4/12 1:29:07

前端项目部署教程——有域名无证书

一、拉取nginx镜像 docker pull nginx //先拉取nginx镜像二、打包前端项目 1、将Vue打包项目传输到/usr/local/vue/下blog和admin文件夹下 2、在/usr/local/nginx下创建nginx.conf文件&#xff0c;格式如下&#xff1a; events {worker_connections 1024; }http {include …...

编程日记 2024/4/12 1:25:05

后端项目部署教程

一、打包jar包 lyamanoblog-server-0.0.1.jar ps:运行时可能会提醒不能有大写字母&#xff0c;所以用的都是小写字母 二、编写Dockerfile文件 FROM java:8 VOLUME /tmp ADD lyamanoblog-server-0.0.1.jarblog.jar ENTRYPOINT ["java","-Djava.securit…...

编程日记 2024/4/12 1:24:01

【微命令】git 如何修改某个分支的名字（git branch -m newbranch)

简要信息&#xff0c;快速记录 命令 # 切换到某个需要修改的分支 git checkout oldbranch# 修改分支名字 git branch -m newbranch假设作为git设计者&#xff0c;要用来修改branch的命令&#xff0c;那么就是 git branch作为前缀&#xff0c;然后进一步修改的命令是branch相关…...

编程日记 2024/4/12 1:22:58

Unity UI 优化技巧

将画布分割为多个 问题：当 UI Canvas 的任何元素发生变化时，都会影响整个 Canvas。 Canvas 是 Unity UI 的重要组成部分。它创建一个网格来表示放置在其顶部的 UI 元素，在 UI 元素更改时重建网格，并调用 GPU 来渲染实际的用户界面。 创建这些网络可能非常昂贵。UI 元素应…...

编程日记 2024/4/12 1:20:56

前端学习之DOM编程案例：抽奖案例

代码 <!DOCTYPE html> <html lang"en"> <head><meta charset"UTF-8"><title>抽奖案例</title><style>*{margin: 0;padding: 0;}</style> </head> <body><div id"container"&g…...

编程日记 2024/4/12 1:17:51

解决windows下Qt Creator显示界面过大的问题

&#x1f40c;博主主页&#xff1a;&#x1f40c;​倔强的大蜗牛&#x1f40c;​ &#x1f4da;专栏分类&#xff1a;QT❤️感谢大家点赞&#x1f44d;收藏⭐评论✍️ 目录 问题描述 解决方法 1、右击此电脑--->属性 2、点击高级系统设置--->点击环境变量 3、 找到系…...

编程日记 2024/4/12 1:15:47

MySQL 通信协议 tcp c/s架构 jdbc java

简介 服务器启动后&#xff0c;会使用 TCP 监听一个本地端口&#xff0c;当客户端的连接请求到达时&#xff0c;就会执行三段握手以及 MySQL 的权限验证&#xff1b;验证成功后&#xff0c;客户端开始发送请求&#xff0c;服务器会以响应的报文格式返回数据&#xff1b;当客户…...

编程日记 2024/4/12 1:13:44

蓝桥杯第十三届电子类单片机组决赛程序设计

前言 一、决赛题目 1.比赛题目 2.题目解读 二、功能实现 1.关于定时器资源 1&#xff09;超声波和NE555需要的定时器资源 2&#xff09;定时器2 2.单位切换 3.数据长度不足时&#xff0c;高位熄灭 4.AD/DA多通道的处理 5.PWM输出 6.长按功能的实现 三、完整代码演…...

编程日记 2024/4/12 1:12:43

【Entity Framework】如何使用EF中的生成值

【Entity Framework】如何使用EF中的生成值 文章目录 【Entity Framework】如何使用EF中的生成值一、概述二、默认值三、计算列四、设置主键五、显示配置值生成六、设置日期/时间值生成6.1 创建时间戳6.2 更新时间戳 七、替代值生成八、无值生成九、总结 一、概述 数据库列的值…...

编程日记 2024/4/12 1:11:42

【MATLAB源码-第185期】基于matlab的16QAM系统相位偏移估计EOS算法仿真，对比补偿前后的星座图误码率。

操作环境&#xff1a; MATLAB 2022a 1、算法描述 1. 引言 M-QAM调制技术的重要性 现代通信系统追求的是更高的数据传输速率和更有效的频谱利用率。M-QAM调制技术&#xff0c;作为一种高效的调制方案&#xff0c;能够通过在相同的带宽条件下传输更多的数据位来满足这一需求…...

编程日记 2024/4/12 1:08:39

C++入门语法（命名空间缺省函数函数重载引用内联函数nullptr）

目录 前言 1. 什么是C 2. C关键字 3. 命名空间 3.1 命名空间的定义 3.2 命名空间的使用 4. C输入和输出 5. 缺省函数 5.1 概念 5.2 缺省参数分类 6. 函数重载 6.1 概念 6.2 为何C支持函数重载 7. 引用 7.1 概念 7.2 特性 7.3 常引用 7.4 引用与指针的区别 7…...

编程日记 2024/4/12 1:05:35

9.vector的使用介绍和模拟实现

1.vector的介绍及使用 1.1 vector的介绍 vector的文档介绍 vector是表示可变大小数组的序列容器。 就像数组一样&#xff0c;vector也采用的连续存储空间来存储元素。也就是意味着可以采用下标对vector的元素进行访问&#xff0c;和数组一样高效。但是又不像数组&#xff0c…...

编程日记 2024/4/12 1:03:34

探索设计模式的魅力：MVVM模式在AI大模型领域的创新应用-打破传统，迎接智能未来

​&#x1f308; 个人主页&#xff1a;danci_ &#x1f525; 系列专栏&#xff1a;《设计模式》 &#x1f4aa;&#x1f3fb; 制定明确可量化的目标&#xff0c;坚持默默的做事。 MVVM模式在AI大模型领域的创新应用-打破传统迎接智能未来 &#x1f680; “在人工智能的领域里&a…...

编程日记 2024/4/12 0:59:30

Docker使用— Docker部署安装Nginx

Nginx简介 Nginx 是一款高性能的 web 服务器、反向代理服务器以及电子邮件&#xff08;IMAP/POP3/SMTP&#xff09;代理服务器&#xff0c;由俄罗斯开发者伊戈尔塞索耶夫&#xff08;Igor Sysoev&#xff09;编写&#xff0c;并在2004年10月4日发布了首个公开版本0.1.0。Nginx…...

编程日记 2024/4/12 0:58:28