当前位置： 首页 > news >正文

Elasticsearch的写的底层原理

news 文章来源：https://blog.csdn.net/ybb_ymm/article/details/128991626 2025/1/29 11:01:05

前面有一篇文章讲解了Elasticsearch的读写搜索过程，有的人感觉不太理解，今天我们再来看看这些过程的原理

写数据底层原理

首先是将数据写入到内存buffer中，在这里的时候，数据是搜索不到。他同时会将数据写入到translog日志文件中。

当buffer即将存满，又或者是到了一个定存放时间，它就将内存buffer中的数据刷新到一个新的segment file中。他不是直接进入到磁盘文件，而是先到了os cache中，这就是refresh的过程了。

每1秒钟，elasticsearch会将buffer中的数据写入到一个全新的segment file中，并且会产生一个新的segment file，他是用来存储最近1秒之中buffer写入进来的数据。

假如buffer里面没有数据，就不会执行刷新操作了，如果有数据，则会每1秒执行一次刷新操作，刷进segment file中。

这里我们也需要了解一个东西os cache，这是操作系统中的缓存，当每次有数据要写入到磁盘中的时候，他都会首先进入到os cache中保存，当数据被刷入到os cache 中，这个时候，数据就能够被检索到了。

这样一直重复着上述的步骤。

好了我们来总结一下这个过程：数据首先写入buffer，然后每1秒钟会执行一次刷新，将数据转入到os cache中（这就是为什么我们从elasticsearch写入到他能够被我们检索出来，中间有1秒的延迟的原因了）。之后每隔5秒钟会将数据写入到translog文件内，当此文件增长到一定的成都，或者每隔30分钟，会提交一次，将缓存的数据全部刷新到segment file磁盘中

好了，今天关于Elasticsearch中写操作的底层原理就讲解到这里，欢迎大家留言交流。

也欢迎大家关注我的公众号《coder练习生》

相关文章：

Elasticsearch的写的底层原理

前面有一篇文章讲解了Elasticsearch的读写搜索过程，有的人感觉不太理解，今天我们再来看看这些过程的原理 写数据底层原理 首先是将数据写入到内存buffer中，在这里的时候，数据是搜索不到。他同时会将数据写入到translog日志文件中…...

编程日记 2023/2/12 16:43:16

【网络编程】Java中的Socket

文章目录前言socket是什么？Java中的SocketJava实现网络上传文件前言 所谓Socket（套接字），就是对网络中不同主机上的应用进程之间进行双向通信的端点的抽象。一个套接字就是网络上进程通信的一端，提供了应用层进程利用…...

编程日记 2023/2/12 16:42:08

有趣的Hack-A-Sat黑掉卫星挑战赛——跟踪卫星

国家太空安全是国家安全在空间领域的表现。随着太空技术在政治、经济、军事、文化等各个领域的应用不断增加，太空已经成为国家赖以生存与发展的命脉之一，凝聚着巨大的国家利益，太空安全的重要性日益凸显[1]。而在信息化时代，太空安…...

编程日记 2023/2/12 16:41:01

Ubuntu安装配置Cuda和Pytorch gpu

前言 在Ubuntu中操作系统中，通过Anconda安装对应的虚拟环境以及软件包，一般都需要适配Cuda、Pytorch版本等 以下安装配置都是在Ubuntu操作系统下 1. 安装Cuda 通过Ubuntu操作系统查看cuda适配的版本：nvidia-smi 截图如下： 查看Ubuntu版本可如下方式 (1)cat /proc/ver…...

编程日记 2023/2/12 16:39:52

三、Java面向对象

1 . 方法 方法(method)是程序中最小的执行单元方法就是一些代码的打包 需要的时候可以直接调用方法之间是平级的关系 不能在方法里面定义方法方法不调用就不执行 方法的定义 // 方法的定义 /* [修饰符] 返回值类型 方法名称([参数 1],[参数 2]){语句A;return 返回值; } *///…...

编程日记 2023/2/12 16:38:45

pygame7 弹球游戏2

上节课我们做到当球静止下来后在第0号球上画一个球杆 本节课我们将会让这个球杆将球打出来 1、鼠标事件 pygame.mouse.get_pressed():返回鼠标左键，中间，右键的情况 2、键盘事件： pygame.key.get_pressed(): 返回所有键盘的情况 3、pyg…...

编程日记 2023/2/12 16:37:39

计算机网络4：计算机网络体系结构

目录计算机网络体系结构1.网络模型2.每一层的代表含义2.1 OSI7层模型2.2 五层协议2.3 TCP/IP 四层协议3.数据在各层之间的传输过程4.为什么要进行分层计算机网络体系结构 1.网络模型 2.每一层的代表含义 2.1 OSI7层模型 （1）物理层：比特流–…...

编程日记 2023/2/12 16:36:31

1630_GNU的二进制分析工具nm简单使用探索

全部学习汇总： GreyZhang/toolbox: 常用的工具使用查询，非教程，仅作为自我参考！ (github.com) GNU有一套二进制的分析工具，之前是用过objdump的，但是也没有系统掌握。如果做底层软件的设计，这些…...

编程日记 2023/2/12 16:35:25

【Redis】Redis高可用之Redis Cluster集群模式详解（Redis专栏启动）

📫作者简介：小明java问道之路，2022年度博客之星全国TOP3，专注于后端、中间件、计算机底层、架构设计演进与稳定性建工设优化。文章内容兼具广度深度、大厂技术方案，对待技术喜欢推理加验证，就职于知名金融公…...

编程日记 2023/2/12 16:34:14

1.8 正则表达式

正则表示式是用来匹配与查找字符串的，从网上爬取数据不可避免的会用到正则表达式。 Python 的表达式要先引入 re 模块，正则表达式以 r 引导。Re库主要功能函数函数说明re.search()在一个字符串中搜索匹配正则表达式的第一个位置，返回match对象…...

编程日记 2023/2/12 16:33:09

Postgresql 根据单列或几列分组去重row_number() over() partition by

Postgresql 根据单列或几列分组去重row_number() over() partition by 一般用于单列或者几列需要去重后进行计算值的 count(distinct(eid)) 可以 比如有个例子，需要根据名称，城市去筛选覆盖的道路长度，以月因为建立了唯一索引是ok的&#…...

编程日记 2023/2/12 16:32:02

基于蒙特卡洛法的规模化电动车有序充放电及负荷预测（PythonMatlab实现）

💥💥💥💞💞💞欢迎来到本博客❤️❤️❤️💥💥💥 🎉作者研究：🏅🏅🏅主要研究方向是电力系统和智能算法、机器学…...

编程日记 2023/2/12 16:30:55

Selenium常用API详解，从入门到进阶（全套）

目录 1、打开页面 2、查找页面元素 3、输入文本 4、点击操作 5、提交操作 6、清除文本 7、获取文本、属性 8、获取页面的标题和URL 9、窗口 9.1、设置窗口大小 9.2、窗口切换 9.2.1、为什么需要窗口切换？ 9.2.2、获取句柄的方式 9.2.3、切换句柄 10、…...

编程日记 2023/2/12 16:29:48

自从学会了Python，我实现了壁纸自由(6)

小朋友们好，大朋友们好！我是猫妹！哈哈哈，又到周末啦！这周过得怎么样？马上就要开学了，寒假作业早已写好了吧？开学让人兴奋，上了很久网课都要吐啦！开学也让人有…...

编程日记 2023/2/12 16:28:42

Ruby 发送邮件 - SMTP

SMTP（Simple Mail Transfer Protocol）即简单邮件传输协议,它是一组用于由源地址到目的地址传送邮件的规则，由它来控制信件的中转方式。 Ruby提供了 Net::SMTP 来发送邮件，并提供了两个方法 new 和 start: new 方法有两个参数&am…...

编程日记 2023/2/12 16:27:34

Python爱心代码

前言 Python漂浮爱心，具体源码见：Python动态爱心代码_爱心代码-Python文档类资源-CSDN下载 爱心类 class Heart(): #每个爱心（爱心类） def __init__(self): self.r ra.randint(10,15) #爱心的半径 …...

编程日记 2023/2/12 16:26:29

【二分查找法及其应用】

文章目录一. 前提二. 基本思路三. 代码实现四. 封装在STL中的二分查找算法五. 浮点数二分一. 前提 待查找的序列是有序的；待查找的 a 采取顺序存储结构。 二. 基本思路 设在升序序列 a [ low…high ] 查找的 k ， 首先找中间值 mid a [ ( lowhigh )/2 …...

编程日记 2023/2/12 16:25:22

Android 进阶——Framework核心 之Binder Java成员类详解（三）

文章大纲引言一、Binder Java家族核心成员关系图二、Binder Java家族核心成员源码概述1、android.os.IBinder1.1、boolean transact(int code, Parcel data, Parcel reply, int flags) send a call to an IBinder object1.2、String getInterfaceDescriptor()1.3、boolean ping…...

编程日记 2023/2/12 16:24:16

Maven

Maven 1.什么是Maven 官方网站 https://maven.apache.org/ Maven是一款服务于Java平台的自动化构建工具，它可以帮助我们更方便的对项目进行构建、管理项目jar包 ，包括: bulid 项目，切换 jar 版本，添加 jar, 删除 jar 包等 1.…...

编程日记 2023/2/12 16:23:10

1947抓住那头牛（队列 广度优先搜索）

目录 题目描述 解析 解题思路 代码部分 代码部分 运行结果 看看len数组中各个位置的标记值 为什么这样做一定是最短路径&#xff1a; 题目描述 农夫知道一头牛的位置&#xff0c;想要抓住它。农夫和牛都位于数轴上&#xff0c;农夫起始位于点N(0<N<100000)&…...

编程日记 2023/2/12 16:22:01

基于linux5.15.5的IMX 参考手册 ---21

基于linux5.15.5的IMX 参考手册 — 21 10.5.2高清多媒体接口&#xff08;HDMI&#xff09;和显示端口&#xff08;DP&#xff09;概述 10.5.2.1测试名称 •mxc_cec_test.out 10.5.2.1.1位置 /unit_tests/HDMI/ 10.5.2.1.2功能 验证HDMI CEC功能并向HDMI接收器发送断电命令。 1…...

编程日记 2023/2/12 16:19:46

Android Dalvik虚拟机 堆初始化流程

前言 上篇文章介绍了dalvik虚拟机启动流程&#xff0c;在dalvik虚拟机启动时调用了dvmGcStartup来启动堆。 本文介绍我们在日常开发使用Java时的堆创建流程。 Dalvik堆介绍 Dalvik虚拟机中&#xff0c;堆是由heap[0] Active堆和heap[1] Zygote堆两部分组成的。其中&#xff…...

编程日记 2023/2/12 16:18:39

0讲（补）——开发前必备基本常识

前言 专栏内容持续补充更新，目前正在进行优惠活动 目录 前言 一、函数的声明和定义 二、预编译 三、串口打印中的printf函数的使用...

编程日记 2023/2/12 16:17:30

JS学习笔记

1.WebAPIs简介导读Web APIs 和JS 基础关联性JS 基础阶段以及 Web APIs 阶段JS基础学习 ECMAScript 基础语法为后面作铺垫&#xff0c;Web APIs 是JS 的应用&#xff0c;大量使用JS基础语法做交互效果①JS 基础阶段我们学习的是ECMAScript 标准规定的基本语法要求同学们掌握JS 基…...

编程日记 2023/2/12 16:16:22

linux005之用户、组管理

linux用户管理简介&#xff1a; 任何使用linux系统的用户&#xff0c;都必须使用一个合法的账号和密码&#xff0c;账号和密码一般都是超级管理员创建&#xff0c;当然普通用户也可以创建用户&#xff0c;前提是必须拥有创建用户权限。 root是linux系统中默认创建的超级用户 创…...

编程日记 2023/2/12 16:15:14

列线图工具_Nomogram

定义 列线图是一种相对传统的分析方法&#xff0c;用于展示自变量和因变量的线性关系&#xff0c;及其特征的重要程度。 现在用SHAP&#xff0c;和机器学习库中的 Feature importance 工具可以实现类似甚至更好效果。不过很多传统的研究领域比较认这种方法。 列线图工具建立在…...

编程日记 2023/2/12 16:14:07

【C++】类和对象（一）

目录一、面向过程和面向对象初步认识二、类的引入三、类的定义四、类的访问限定符及封装4.1、访问限定符4.2、封装五、类的作用域六、类的实例化七、类对象的大小八、this指针8.1、this指针的引出8.2、this指针的特性8.3、C语言和C实现Stack的对比一、面向过程和面向对象初步认…...

编程日记 2023/2/12 16:13:00

Python获取搜索引擎结果

前言 想快速获取各个高校的博士招生网站&#xff0c;于是通过python先获取出有可能包含高校博士招生网站的URL&#xff0c;然后通过人为筛选得到了想要的招生网站&#xff08;注意&#xff0c;并非直接爬取&#xff0c;是间接获取的&#xff09;。 整理了一份网站名单&#x…...

编程日记 2023/2/12 16:11:52

2.4.8 PCIe——物理逻辑层——REFCLK

一、概述 pcie的参考时钟由板级输入&#xff0c;提供给IP内PHY层的PLL使用&#xff0c;由PLL产生core_clk和pipe_clk。 二、REFCLK产生方式 Serdes 所用时钟由 PHY 模块内的PLL生成&#xff0c;PLL的参考时钟可以由common clock&#xff08;外部背板提供&#xff09;、separ…...

编程日记 2023/2/12 16:10:44

树莓派4B arm64 搭建 docker+drone+gitea

树莓派4B arm64 搭建 dockerdronegitea 记录时间: 2023年02月10日 树莓派烧录 如何用树莓派搭建一台永久运行的个人服务器&#xff1f; https://mp.weixin.qq.com/s?__bizMzI5NjA0ODkwNA&mid2651847658&idx1&sn267a1257b43d4a76f2a081ed157b77f9&chksmf7b11…...

编程日记 2023/2/12 16:08:29

网站建设备案查询/济南seo优化外包服务公司

1. 配置阿里云yum源 下载配置文件 wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo生成缓存 yum makecache2、上传并解压 tar -zxvf redis-6.2.6.tar.gz -C /usr/local/soft/3、安装编译所需的依赖 yum install -y gcc-c gcc tcl4、…...

编程日记 2025/1/29 9:18:26

购物商城网站制作/seo网络推广到底是做什么的

参考&#xff1a;《软件设计师考试——考点分析与真题详解》 我们设置一个结构数组 HuffNode 保存哈夫曼树中各结点的信息。根据二叉树的性质可知&#xff0c;具有n个叶子结点的哈夫曼树共有 2n-1 个结点&#xff0c;所以数组 HuffNode 的大小设置为 2n-1 。HuffNode 结构中有 …...

编程日记 2025/1/29 8:17:57

网站做伪静态/seo网络优化招聘信息

每隔几天&#xff0c;就会有人在网媒上讨论中文编程的问题&#xff0c;甚至有编程的套件发布&#xff0c;每次都会引发一场大讨论。但是在程序员的圈子里&#xff0c;却很少看到有人关注这个话题。 为什么汉语编程这个话题总能引吸一些人的眼球呢&#xff1f;从大家的讨论中我们…...

编程日记 2025/1/29 8:11:48

县建设局 协会网站/东莞网站推广企业

中新网1月17日电 据欧联网援引欧联通讯社报道&#xff0c;当地时间1月15日晚&#xff0c;一名搭乘意大利航空公司班机的30岁埃及男子&#xff0c;试图强行滞留意大利未果后被遣返。男子遭遣返登机后趁机舱关门之际跳机逃往机场起降区域&#xff0c;引发机场大乱被迫临时关闭&am…...

编程日记 2025/1/29 7:50:47

网站怎么做优化推广/网站开发的一般流程

Rib图像还原步骤&#xff1a; 首先打开一幅Rib色彩模式的图片&#xff0c;新建三个图层并分别命名为红、绿、蓝&#xff0c;切换到通道控制面板&#xff0c;分别将红、绿、蓝三个颜色通道各复制一个&#xff0c;先载入红色副本通道的选区&#xff0c;再选择红色图层&#xff0c…...

编程日记 2025/1/29 2:33:52

深入推进党建工作网站建设/关键词优化是怎么做的

本菜鸡终于第一次全AC了&#xff01;&#xff01;&#xff01;&#xff01; 我就知道我的机会来了~~第一题&#xff1a;LeetCode 53原题 -- 最大和的连续子数组// ACimport java.util.*;public class Main {public static void main(String[] args) {Scanner sc new Scanner(S…...

编程日记 2025/1/28 23:39:01