Elasticsearch搜索流程及原理详解
Elasticsearch搜索流程及原理详解
- 1. Elasticsearch概述
- 1.1 简介
- 1.2 核心特性
- 1.3 应用场景
- 2. Elasticsearch搜索流程
- 2.1 搜索请求的发起
- 2.2 查询的执行
- 2.3 结果的聚合与返回
- 3. Elasticsearch原理详解
- 3.1 倒排索引
- 3.2 分布式架构
- 3.3 写入流程
- 3.4 读取流程
- 4. 技术细节与操作流程
- 4.1 索引创建与配置
- 4.2 数据写入
- 4.3 搜索查询
- 4.4 聚合查询
- 5. 案例分析
- 5.1 日志分析案例
- 5.1.1 数据导入
- 5.1.2 聚合查询
- 5.2 监控系统案例
- 5.2.1 数据模型
- 5.2.2 搜索与报警
- 6. 流程图与脑图
- 6.1 搜索流程图
- 6.2 架构脑图
- 7. 总结
- 2. 架构原理
- 2.1 分布式架构
- 2.2 节点与集群
- 2.3 分片与副本
- 3. 索引原理
- 3.1 倒排索引机制
- 3.2 文档索引过程
- 4. 搜索机制
- 4.1 查询执行流程
- 4.1.1 客户端请求
- 4.1.2 请求路由
- 4.1.3 分片查询
- 4.1.4 结果聚合
- 4.1.5 结果返回
- 4.1.6 技术细节与命令示例
- 4.2 相关性评分
- 4.2.1 评分算法
- 4.2.2 影响因素
- 4.2.3 技术细节与命令示例
- 5. 数据写入与更新
- 5.1 数据写入流程
- 5.1.1 写入请求的接收
- 5.1.2 路由到主分片
- 5.1.3 写入主分片
- 5.1.4 数据同步到副本分片
- 5.1.5 写入确认与响应
- 5.1.6 技术细节与命令示例
- 5.2 数据更新与删除
- 5.2.1 数据更新流程
- 5.2.2 数据删除流程
- 5.2.3 技术细节与命令示例
- 6. 性能优化
- 6.1 硬件优化
- 6.1.1 存储设备选择
- 6.1.2 CPU和内存配置
- 6.1.3 网络优化
- 6.2 索引设置优化
- 6.2.1 分片和副本配置
- 6.2.2 索引生命周期管理（ILM）
- 6.2.3 映射和设置优化
- 6.3 查询语句优化
- 6.3.1 使用Filter Context
- 6.3.2 避免深度分页
- 6.3.3 预索引聚合字段
- 6.3.4 避免使用复杂的脚本
- 7. 配置与管理
- 7.1 配置文件详解
- 7.1.1 集群名称和节点设置
- 7.1.2 网络设置
- 7.1.3 路径设置
- 7.1.4 内存锁定
- 7.1.5 线程池和垃圾回收
- 7.2 集群管理命令
- 7.2.1 查看集群健康状态
- 7.2.2 查看节点信息
- 7.2.3 查看索引信息
- 7.3 监控与日志
- 7.3.1 监控集群
- 7.3.2 查看日志
1. Elasticsearch概述
1.1 简介
Elasticsearch，一个基于Apache Lucene的开源分布式搜索和分析引擎，以其强大的全文搜索能力、分布式架构和近实时数据处理而闻名。它能够处理PB级别的数据，并提供毫秒级的查询响应。Elasticsearch通常与Logstash和Kibana一起使用，合称为ELK Stack，用于日志分析、监控、搜索等场景。
1.2 核心特性
Elasticsearch的核心特性包括：
- 分布式架构：允许水平扩展，无单点故障。
- 全文搜索：提供快速的文本分析和搜索能力。
- 近实时搜索：数据更新后，几乎可以立即搜索到新数据。
- 高可用性：通过副本分片实现高可用性。
- 多租户：支持在单个集群上运行多个独立的索引。
- RESTful API：提供易于使用的RESTful接口，简化开发。
1.3 应用场景
相关文章：
Elasticsearch搜索流程及原理详解
Elasticsearch搜索流程及原理详解 1. Elasticsearch概述1.1 简介1.2 核心特性1.3 应用场景2. Elasticsearch搜索流程2.1 搜索请求的发起2.2 查询的执行2.3 结果的聚合与返回3. Elasticsearch原理详解3.1 倒排索引3.2 分布式架构3.3 写入流程3.4 读取流程4. 技术细节与操作流程4…...
芯片之殇——“零日漏洞”（文后附高通64款存在漏洞的芯片型号）
芯片之殇——“零日漏洞”（文后附高通64款存在漏洞的芯片型号） 本期是平台君和您分享的第113期内容 前一段时间，高通公司（Qualcomm）发布安全警告称，提供的60多款芯片潜在严重的“零日漏洞”，芯片安全再一次暴露在大众视野。 那什么是“零日漏洞”？平台君从网上找了一段…...
【gitlab】gitlabrunner部署
1、下载镜像 docker pull gitlab/gitlab-runner:latest 2、启动gitrunner容器 docker run -d --name gitlab-runner --restart always \ -v /root/gitrunner/config:/etc/gitlab-runner \ ///gitlab-runner的配置目录，挂载在宿主机上方便修改,里面有config.…...
Flink监控checkpoint
Flink的web界面提供了一个选项卡来监控作业的检查点。这些统计信息在任务终止后也可用。有四个选项卡可以显示关于检查点的信息：概述（Overview）、历史（History）、摘要（Summary）和配置（Configuration）。下面依次来看这几个选项。 Overview Tab Overview选项卡列出了以…...
Ribbon 入门实战指南
Ribbon 是 Netflix 开发的一个开源项目，用于实现客户端负载均衡功能。它在微服务架构中广泛使用，并且是 Spring Cloud 生态中的重要组成部分。本文将带你从基础入门，逐步掌握如何在 Spring Cloud 项目中使用 Ribbon 实现客户端负载均衡。 1 负…...
uniapp: 微信小程序包体积超过2M的优化方法（主包从2.7M优化到1.5M以内）
一、问题描述 在使用uniapp进行微信小程序开发时，经常会遇到包体积超过2M而无法上传： 二、解决方案 目前关于微信小程序分包大小有以下限制： 整个小程序所有分包大小不超过 30M（服务商代开发的小程序不超过 20M） 单个…...
【百日算法计划】：每日一题，见证成长（026）
题目 给定一个包含正整数、加()、减(-)、乘(*)、除(/)的算数表达式(括号除外)，计算其结果。 表达式仅包含非负整数，， - ，，/ 四种运算符和空格 。 整数除法仅保留整数部分。 * * 示例 1: 输入: “32X2” 输出: 7 import…...
【大模型】prompt实践总结
文章目录 怎么才算是好的prompt设计准则基本原则精炼原则（奥卡姆剃刀准则）具体原则真实操作技巧指定角色增加fewshots列表化代码化强调需求真实迭代大模型优化情形任务的定义和评估标准似乎可以再明确一下出现了一些之前没有考虑过的特殊情况，可以重新组织语言优化Prompt来处…...
在Qt（以及C++）中， 和 * 是两个至关重要的符号--【雨露均沾】
在Qt（以及C）中，& 和 * 是两个至关重要的符号，它们用于处理引用和指针。我们将逐个解释这两个符号，并提供简单示例来说明它们的用法。 1. 引用（&） 定义: 引用是一种别名，它不…...
本地部署Apache Answer搭建高效的知识型社区并一键发布到公网流程
文章目录 前言1. 本地安装Docker2. 本地部署Apache Answer2.1 设置语言选择简体中文2.2 配置数据库2.3 创建配置文件2.4 填写基本信息 3. 如何使用Apache Answer3.1 后台管理3.2 提问与回答3.3 查看主页回答情况 4. 公网远程访问本地 Apache Answer4.1 内网穿透工具安装4.2 创建…...
Ubuntu常见命令
关于export LD_LIBRARY_PATHcmake默认地址CMakelists.txt知识扩充/home：挂载新磁盘到 /home 子目录 关于export LD_LIBRARY_PATH 程序运行时默认的依赖库的位置包括lib, /usr/lib ,/usr/local/lib 通过命令export LD_LIBRARY_PATHdesired_path:$LD_LIBRARY_PATH追加…...
网络安全领域的最新动态和漏洞信息
网络安全领域的最新动态和漏洞信息涉及多个方面，以下是对这些信息的详细归纳： 一、网络安全领域最新动态世界互联网大会乌镇峰会召开2024年11月19日至22日，以“拥抱以人为本、智能向善的数字未来——携手构建网络空间命运共同体”为主题的202…...
华为开源自研AI框架昇思MindSpore应用案例：人体关键点检测模型Lite-HRNet
如果你对MindSpore感兴趣，可以关注昇思MindSpore社区 一、环境准备 1.进入ModelArts官网 云平台帮助用户快速创建和部署模型，管理全周期AI工作流，选择下面的云平台以开始使用昇思MindSpore，获取安装命令，安装MindSpo…...
每日OJ题_牛客_天使果冻_递推_C++_Java
目录 牛客_天使果冻_递推 题目解析 C代码 Java代码 牛客_天使果冻_递推 天使果冻 描述： 有 n 个果冻排成一排。第 i 个果冻的美味度是 ai。 天使非常喜欢吃果冻，但她想把最好吃的果冻留到最后收藏。天使想知道前 x个果冻中，美味…...
独立站干货：WordPress主机推荐
WordPress作为全球最受欢迎的独立站建设平台，提供了灵活性和强大的功能，使得建站变得简单而高效。本文将为您详细介绍WordPress建站的流程，并推荐几款实测后觉得好用的主机商。 WordPress建站流程 域名注册 首先需要注册一个域名，…...
支持多种快充协议和支持多种功能的诱骗取电协议芯片
汇铭达XSP15是一款应用于手持电动工具、智能家居、显示器、音箱等充电方案的大功率快充协议芯片，支持最大功率100W给设备快速充电，大大缩短了充电时间。芯片支持通过UART串口发送电压/电流消息供其它芯片读取。支持自动识别连接的是电脑或是充电器。支持…...
Android中常见内存泄漏的场景和解决方案
本文讲解Android 开发中常见内存泄漏场景及其解决方案，内容包括代码示例、原因分析以及最佳实践建议。 1. 静态变量导致的内存泄漏 静态变量的生命周期与应用进程一致，如果静态变量持有了对 Activity 或其他大对象的引用，就可能导致内存泄漏…...
MyBatis Plus中的@TableId注解
TableId 注解用于将某个成员变量指定为数据表主键，以下为使用示例： import com.baomidou.mybatisplus.annotation.TableField; import com.baomidou.mybatisplus.annotation.TableId; import com.baomidou.mybatisplus.annotation.TableName; import lo…...
java基础概念33：常见API-Objects工具类
一、使用场景 二、成员方法 2-1、equals方法 源码： 2-2、isNull方法、nonNull方法 三、小结...
脚手架vue-cli,webpack模板
先安装node.js，它是服务器端，用于给页面提供服务。前端学习不需要会node.js，只需要学会node.js衍生出来的npm命令即可。 npm 是node.js的一个工具，作用是进行包管理，npm是node.js的包管理器。 接着安装脚手架ÿ…...
什么是React Native?
写在前面 React Native (RN) 是一个由 Facebook 开发的开源框架，用于构建跨平台的移动应用程序。它允许开发者使用 JavaScript 和 React 来创建原生 iOS 和 Android 应用。RN 的出现极大地简化了移动应用的开发过程，使得开发者可以更快速、更高效地构建…...
Three.js LOD（Level of Detail）通过根据视距调整渲染细节的技术
在 Three.js 中，LOD（Level of Detail）技术是一种通过根据视距调整渲染细节的技术，旨在提高渲染性能并优化用户体验。LOD 技术尤其在处理复杂场景或高多边形模型时显得尤为重要。在这篇博客中，我们将详细介绍 LOD 的概念…...
Vulnhub靶场案例渗透[12]-Grotesque: 1.0.1
文章目录 一、靶场搭建1. 靶场描述2. 下载靶机环境3. 靶场搭建 二、渗透靶场1. 确定靶机IP2. 探测靶场开放端口及对应服务3. 目录扫描4. 敏感信息获取5. 反弹shell6. 权限提升 一、靶场搭建 1. 靶场描述 get flags difficulty: medium about vm: tested and exported from vi…...
招聘和面试
本篇内容是根据2019年4月份#82 Hiring and job interviews音频录制内容的整理与翻译 小组成员 Mat Ryer、Ashley McNamara、Johnny Boursiquot 和 Carmen Andoh 讨论了受聘、雇用和工作面试的过程。如果人是团队中最重要的部分，我们如何选择与谁一起工作࿱…...
Gin 框架入门（GO）-1
解决安装包失败问题（*） go env -w GO111MODULE=on go env -w GOPROXY=https://goproxy.cn,direct 1 介绍 Gin 是一个 Go (Golang) 编写的轻量级 http web 框架，运行速度非常快，Gin 最擅长的就是 Api 接口的高并发。 2 Gin 环境搭建 1.下载并安装 gin go get -u github.…...
LeetCode:700. 二叉搜索树中的搜索
目录 题目描述: 代码: 题目描述: 给定二叉搜索树（BST）的根节点 root 和一个整数值 val。 你需要在 BST 中找到节点值等于 val 的节点。 返回以该节点为根的子树。 如果节点不存在，则返回 null 。 示例 1: 输入：root [4,2,7,1,3…...
用邻接矩阵实现图的深度优先遍历
问题描述 给定一个无向图，用邻接矩阵作为图的存储结构，输出指定顶点出发的深度优先遍历序列。在深度优先遍历的过程中，如果同时出现多个待访问的顶点，则优先选择编号最小的一个进行访问。 输入描述 第一行输入三个正整数&#…...
vue2中实现token的无感刷新
后端配置 设置Token过期时间：在后端（如服务器或网关）配置access_token和refresh_token的过期时间。通常，access_token的过期时间较短，而refresh_token的过期时间较长。提供刷新Token接口：后端需要提供一个…...
无需Photoshop即可在线裁剪和调整图像大小的工具
Bitmind是一个灵活且易于使用的批量图像本地化处理器，经过抓包看，这个工具在浏览器本地运行，不会上传图片到服务器，所以安全性完全有保证。 它可以将图像调整到任何特定尺寸，并在必要时按比例裁剪。 这是一个在线工具…...
云安全之法律和合规
0x00 前言 本文主要内容是从法律，合同，电子举证，以及合规和审计这五个部分来记录一下相关的云安全内容 0x01 法律 受法律约束的影响因素 云服务所在的地区云用户所在的区域数据主体所在的区域 GDPR：通用数据保护法案…...
网站建设临沂/seo短视频网页入口
<style>.animation {width: 30px;height: 30px;animation: change 5s infinite;}/*动画相比过渡可以控制更多细节，可以将一个动画拆成多个步骤*/keyframes change {0% {width: 30px;height: 30px;background-color: yellow;}/*25% {width: 300px;background-c…...
郑州做网站的论坛/免费行情软件网站下载大全
http://yishouce.com/run/online转载于:https://www.cnblogs.com/meetrice/p/5168852.html...
在线购物网站的设计与实现/专门做推广的软文
python没有和C中static关键字，它的静态方法是怎样的呢？还有其它语言中少有的类方法又是神马？python中实现静态方法和类方法都是依赖于python的修饰器来实现的。 class MyClass: def method(self): print("method"…...
定制开发一个网站多少钱/餐饮营销方案100例
时间可真快，感觉才刚来学校不久，竟然已经快两个星期了，现在脑子里除了ACM感觉别东西的都好陌生，哈哈，ACM也真是不可思议，作为人类发明的编程与算法的东西，它能够如此成熟，丰富&#…...
如何做彩票网站推广图/口碑营销的经典案例
利用反射机制查询返回一个实体对象。达到查询通用的效果。 Method ：描述类的方法，可以使用 invoke() 方法调用与 Method 对象关联的方法； method.invoke(对象,[参数1,参数2,....] ); Field ：描述类的域（属性&#x…...
做产品推广的网站有哪些/广东今日最新疫情通报
一直有粉丝留言，想要大侠推荐几款程序员使用的插件，大侠特意去问了隔壁的程序员哥哥，终于被我问出了这4款编程神器！这4款插件不仅仅是提高效率那么简单哦，还可以让你的Chrome浏览器变得高端大气，一起来看看…...