当前位置：首页 > news >正文

ElasticSearch相关知识点

news 文章来源：https://blog.csdn.net/qq_44288171/article/details/141170658 2024/9/22 19:27:46

ElasticSearch中的倒排索引是如何工作的？

倒排索引是ElasticSearch中用于全文检索的一种数据结构，与正排索引不同的是，正排索引将文档按照词汇顺序组织。而倒排索引是将词汇映射到包含该词汇的文档中。

在ElasticSearch中，倒排索引的创建过程如下：

首先，文档经过Analyzer处理，将其拆分为一系列的词汇单元，这些词汇单元被称为term.
然后会将这些term作为倒排索引的键，将包含该term的文档编号、词频等信息作为值，存储在倒排列表中。每个term都对应一个倒排列表，存储了包含该term的所有文档的信息。
在查询时，用户输入的查询语句也需要经过相同的Analyzer处理，将其拆分为一系列的term.然后根据倒排索引，可以快速找到包含这些term的文档，并返回查询结果。

倒排索引的优点在于它可以在O(1)的时间内判断某个文档是否包含某个词，而且还可以基于词频、相关度统计信息进行搜索结果排序。因此倒排索引在全文搜索和信息检索中被广泛应用。如搜索引擎、网站搜索、文本分类等场景。

什么是Analyzer，有什么作用？

Analyzer是ElasticSearch中的一个组件，用于将输入的文本转换为索引时使用的文本特征量。这主要包括将文本分为一个个的词汇单元（例如单词或短语），并将这些词汇单元转换为特定的文本特征。Analyzer被广泛应用于文本数据的索引和查询。

Analyzer可以对文本数据进行预处理，包括分词、去除停用词、解决单复数和时态问题以便后续的索引操作。ElasticSearch中有着一些内置的Analyzer，例如Standard Analyzer、simple Analyzer、Whitespace Analyzer、Stop Analyzer、Snowball Analyzer等。

Standard Analyzer:
- 对该字段进行索引和搜索，它会进行基本的分词和规范化处理，如将所有字母转换为小写。
Simple Analyzer:
- 对该字段进行索引和搜索，它只进行简单的分词，不会做大小写转换或停用词删除。
Whitespace Analyzer:
- 对该字段进行索引和搜索，它仅根据空白字符进行分词。
Stop Analyzer:
- 对该字段进行索引和搜索，它会在simple的基础上去除停用词。
Snowball Analyzer:
- 对该字段进行索引和搜索，它使用Snowball词干提取器，例如“details”可能会被提取为“detail”。

ElasticSearch的主要作用

ElasticSearch是一个分布式的搜索和分析引擎，提供以下功能：

分布式搜索：ES可以在多个节点上分布式处理数据，实现大规模数据的搜索。
实时分析：ES可以对数据进行实时分析，例如对文本进行分词，对数据进行统计等
分布式存储：ES可以将数据分布式存储在多个节点上，保证数据的可靠性
查询引擎：ES提供一个强大的查询引擎，可以支持各种复杂的查询操作。

ES的主要应用场景：

数据检索：ES可以用于互联网应用、电商网站、日志管理、企业级搜索等场景，提供高效的搜索服务。
数据分析：ES可以用于对大量数据进行实时分析，例如用户行为分析、流量分析、市场调研
机器学习：ES可以和机器学习库集成，实现一些高级的数据分析和预测功能。

ElasticSearch中的分片是什么？

在Elasticsearch中，索引被分成多个分片（shards），这是为了提高系统的可扩展性和性能。分片是索引的子集，每个分片都是一个Lucene索引，可以独立地存储和搜索数据。通过将索引拆分成多个分片，Elasticsearch可以在多个节点之间分布数据，从而实现水平扩展和更高的数据吞吐量。

分片的作用：

水平扩展：通过增加分片的数量，可以将数据分布在更多的节点上，从而提高系统的存储能力和查询性能。
高可用性：Elasticsearch允许为每个分片创建副本（replicas），这些副本可以存储在不同的节点上，以确保即使某个节点失败，数据仍然是可用的。
负载均衡：查询会被路由到相关的分片上执行，结果会被合并后再返回给客户端，这样可以实现查询负载的均衡。

分片的基本概念：

主分片（Primary Shard）：每个索引都有一个或多个主分片，这些主分片内的数据合起来包含了索引的所有数据。
副本分片（Replica Shard）：主分片的副本，用于提高系统的可用性和容错能力。在ES的集群中，一个节点不会同时包含某个分片的主分片和副本分片。当某个节点宕机了，那么存储在另外节点的这个宕机节点的主分片的副本分片则会升级为主分片。以此保证可用性和容错能力。

如何配置分片：

当你创建一个新的索引时，可以通过设置number_of_shards和number_of_replicas参数来指定索引的分片数和副本数。

示例：创建索引时配置分片

PUT my_index
{"settings": {"number_of_shards": 5,"number_of_replicas": 1}
}

在这个例子中，my_index索引将被分成5个主分片，并为每个主分片创建一个副本分片。

如何查看分片状态：

你可以使用Elasticsearch的API来查看当前集群中所有索引的分片状态。

示例：查看分片状态

GET _cat/shards?v=true

这将返回所有索引的分片状态，包括分片ID、状态、节点位置等信息。

假设有三个节点 Node A、Node B 和 Node C，并且创建了一个索引 my_index，其中主分片为5，副本分片为1。以下是可能的分片分布情况：

初始分片分布
- 主分片 #1：Node A
- 主分片 #2：Node A
- 主分片 #3：Node B
- 主分片 #4：Node B
- 主分片 #5：Node C
- 副本分片 #1：Node B
- 副本分片 #2：Node C
- 副本分片 #3：Node A
- 副本分片 #4：Node C
- 副本分片 #5：Node B

假设 Node A 宕机了，以下是Elasticsearch执行的具体操作：

检测节点状态：
- Elasticsearch 发现 Node A 不再响应，将其标记为不可用。
更新集群状态：
- Elasticsearch 更新集群状态，将 Node A 标记为不可用。
重新分配副本分片：
- 主分片 #1 和主分片 #2 位于 Node A 上，因此需要将它们的副本分片提升为主分片。
- 副本分片 #1 位于 Node B 上，将其提升为主分片。
- 副本分片 #2 位于 Node C 上，将其提升为主分片。
创建新的副本分片：
- 对于新的主分片 #1 和 #2，Elasticsearch 会创建新的副本分片。
- 新的副本分片 #1 可能放置在 Node C 上。
- 新的副本分片 #2 可能放置在 Node B 上。
重新平衡分片：
- Elasticsearch 会自动重新平衡分片，确保数据均匀分布在整个集群中。

分片分布变化：

分片分布变化后
- 主分片 #1：Node B
- 主分片 #2：Node C
- 主分片 #3：Node B
- 主分片 #4：Node B
- 主分片 #5：Node C
- 副本分片 #1：Node C
- 副本分片 #2：Node B
- 副本分片 #3：Node C
- 副本分片 #4：Node C
- 副本分片 #5：Node B

注意事项：

数据丢失：由于您配置了副本分片，因此在节点宕机的情况下，数据不会丢失。
性能影响：在节点宕机期间，Elasticsearch 会进行副本分片的提升和重建操作，这可能会暂时影响性能。
恢复时间：Elasticsearch 会尽快恢复集群的正常状态，但恢复时间取决于网络状况、节点资源等因素

Elasticsearch 的索引数据多了怎么办如何调优部署

当Elasticsearch (ES) 索引的数据量增长到一定程度时，可能会遇到性能瓶颈和资源限制。为了优化部署并提高性能，可以采取以下几种策略：

1. 硬件升级

增加内存：增加每个节点的RAM，以便更多数据可以缓存在内存中。
更快的CPU：使用更高性能的CPU以加快处理速度。
更大的存储：增加硬盘容量，或者使用SSD/NVMe等更快的存储介质。
更快的网络：使用更快的网络连接，如10Gbps或更高速度的以太网卡。

2. 调整集群配置

增加节点：增加更多的节点可以提高集群的存储和处理能力。
优化分片
- 减少分片数量：如果分片数量过多，可能会导致过多的管理开销。考虑减少分片数量。
- 增加副本分片：增加副本分片数量可以提高查询性能和数据冗余。
重新分配分片：使用 rebalance 命令重新分配分片，确保数据均匀分布在所有节点上。
热数据和冷数据分离：将经常访问的热数据放在高性能节点上，将较少访问的冷数据放在低成本存储上。

3. 索引和文档级别的优化

使用更有效的分析器：选择适合您数据类型的分析器，以减少索引和搜索时的处理时间。
减少文档大小：使用更紧凑的数据格式，如JSON中的doc_values，减少字段数量和复杂度。
压缩数据：启用索引级的压缩，以减少存储需求。
使用稀疏字段：如果字段不是每个文档都有值，可以使用稀疏字段以节省存储空间。
禁用不必要的功能：例如，禁用不必要的分析器、脚本和插件，以减少资源消耗。

4. 查询优化

使用过滤器而不是查询：尽可能使用过滤器而不是查询条件，因为过滤器在执行时不使用评分，可以更快。
减少返回字段：只返回必需的字段，减少传输的数据量。
使用聚合：使用聚合来减少返回的数据量，例如使用terms聚合来获取统计数据。
使用缓存：对于重复的查询，使用查询缓存来提高性能。

5. 分析和监控

使用监控工具：使用Kibana、Elasticsearch Health Check API等工具来监控集群的健康状况和性能。
性能分析：使用Elasticsearch Profiler等工具来分析查询性能瓶颈。
定期检查索引大小：定期检查索引的大小，确保它们没有过度膨胀。

6. 使用滚动索引

滚动索引：使用滚动索引技术来定期创建新的索引，这有助于管理和优化旧数据的存储。

7. 数据生命周期管理

删除旧数据：定期删除不再需要的数据。
归档数据：将旧数据移动到低成本存储中，如S3或HDFS。
使用ILM (Index Lifecycle Management)：Elasticsearch 提供了ILM功能，可以自动化管理索引的生命周期，例如将数据从热节点转移到冷节点。

8. 分布式部署

多数据中心部署：在多个地理位置部署数据中心，以降低延迟并增加容错能力。
跨数据中心复制：使用跨数据中心复制功能，以确保即使一个数据中心出现故障，数据仍然可用。

9. 使用专用节点

专用Master节点：使用专用的Master节点，以提高集群的稳定性和性能。
专用数据节点：使用专用的数据节点来处理数据存储。
专用搜索节点：使用专用的搜索节点来处理查询和聚合操作。

10. 考虑使用云服务

云托管服务：使用AWS Elasticsearch Service、Google Cloud Elasticsearch Service等云托管服务，这些服务通常提供了自动扩展和管理功能。

Elasticsearch 的集群部署

Elasticsearch 的集群部署中会涉及Master节点和数据节点。

Master节点

Master节点负责管理集群的元数据，包括索引元数据、集群状态和节点成员信息。Master节点的主要职责如下：

集群元数据管理：创建、删除和更新索引元数据。
集群状态管理：维护集群的整体状态，包括节点成员、分片分配和集群健康状况。
协调节点加入和离开：当新节点加入集群或现有节点离开时，Master节点负责更新集群状态。
协调分片分配：决定分片在哪个节点上运行，包括主分片和副本分片。
集群级别配置：例如设置集群的恢复速度、分片数量等。

数据节点

数据节点负责存储索引的数据和执行搜索和索引操作。数据节点的主要职责如下：

存储索引数据：每个索引的数据分布在多个主分片和副本分片上，这些分片存储在数据节点上。
执行搜索和索引操作：数据节点执行实际的索引和搜索操作，包括文档的索引、更新、删除和查询。
缓存数据：数据节点维护各种缓存，如查询缓存、过滤器缓存等，以提高查询性能。
执行分片操作：数据节点处理与分片相关的所有操作，包括数据的存储、复制和迁移。

Master节点和数据节点的配置

为了提高集群的稳定性和性能，通常建议将Master节点和数据节点分离。这意味着某些节点只承担Master节点的角色，而其他节点只承担数据节点的角色。这样做的好处包括：

提高稳定性：Master节点的稳定性对于集群的整体健康至关重要。通过将Master节点与数据节点分离，可以减少Master节点因数据操作而受到的影响。
资源优化：Master节点通常不需要很高的CPU或内存配置，而数据节点则需要更多的资源来处理数据存储和查询。通过分离节点角色，可以更高效地分配硬件资源。
易于维护：分离节点角色使得维护更加简单，例如升级Master节点时不必担心数据操作受到影响。

如何配置Master节点和数据节点

要配置Master节点和数据节点，你需要编辑每个节点上的elasticsearch.yml配置文件。以下是一些关键配置选项：

指定节点类型：
- 将希望作为Master节点的节点配置为master_only节点类型。
- 将希望作为数据节点的节点配置为data_only节点类型。
- 如果需要同时承担Master节点和数据节点的角色，可以配置为master_data节点类型。
示例配置：
```
node.name: master-node-1
cluster.name: my-cluster
node.master: true
node.data: false
```
这里node.master: true表示该节点可以成为Master节点，node.data: false表示该节点不承担数据节点的功能。
设置Master资格：
- 使用discovery.zen.minimum_master_nodes配置项来确保集群有足够的Master节点。
- 该值应该等于Master节点数量的一半加一。
示例配置：
```
1discovery.zen.minimum_master_nodes: 2
```
如果你有3个Master节点，那么minimum_master_nodes应该设置为2。
设置Master选举：
- 使用discovery.zen.ping.unicast.hosts配置项来指定哪些节点可以参与Master选举。
- 该列表应该包含所有Master候选节点的IP地址或主机名。
示例配置：
```
1discovery.zen.ping.unicast.hosts: ["192.168.1.10", "192.168.1.11", "192.168.1.12"]
```
这里192.168.1.10、192.168.1.11和192.168.1.12是三个Master候选节点的IP地址。

示例配置

假设你有三个节点，计划将其中两个节点配置为Master节点，一个节点配置为数据节点。

Master节点配置：

1node.name: master-node-1
2cluster.name: my-cluster
3node.master: true
4node.data: false
5discovery.zen.minimum_master_nodes: 2
6discovery.zen.ping.unicast.hosts: ["192.168.1.10", "192.168.1.11"]

对于第二个Master节点，配置类似，只需更改node.name和IP地址即可。

数据节点配置：

1node.name: data-node-1
2cluster.name: my-cluster
3node.master: false
4node.data: true
5discovery.zen.minimum_master_nodes: 2
6discovery.zen.ping.unicast.hosts: ["192.168.1.10", "192.168.1.11"]

当Elasticsearch (ES) 集群中的Master节点宕机时，集群会自动采取一系列措施来恢复集群状态和确保Master节点的可用性。以下是当Master节点宕机时的具体步骤：

1. 检测Master节点状态

当Master节点宕机时，集群中的其他节点会检测到Master节点的状态变化。
ES 会通过心跳机制来检测节点的状态，如果Master节点长时间没有响应，其他节点会认为它已经宕机。

2. 选举新的Master节点

当集群检测到Master节点宕机后，集群会启动Master选举流程来选择一个新的Master节点。
选举过程基于discovery.zen.ping.unicast.hosts配置中指定的Master候选节点列表。
选举算法会考虑多个因素，如节点的优先级、节点的年龄等，来选择最适合的新Master节点。
一旦新的Master节点被选中，它会接管集群的管理任务。

3. 更新集群状态

新的Master节点会更新集群状态，包括更新节点列表、分片分配等信息。
集群状态的更新会传播到所有节点，确保所有节点都了解到新的Master节点。

4. 重新分配分片

如果Master节点宕机导致某些分片不可用，新的Master节点会重新分配分片，以确保数据的高可用性。
如果有副本分片存在，新的Master节点会将副本分片提升为主分片，以维持集群的正常运作。

5. 恢复集群健康状态

新的Master节点会监控集群的健康状态，并尝试恢复任何因Master节点宕机而导致的异常状态。
这可能包括重新分配分片、重建副本分片等操作。

在Elasticsearch (ES) 集群中，当Master节点宕机时，集群会自动启动Master选举过程来选择一个新的Master节点。在这个过程中，集群的状态可能会暂时发生变化，但通常ES服务并不会完全不可用。下面详细解释选举Master节点过程中的服务可用性情况：

选举Master节点的过程

检测Master节点状态：当Master节点宕机时，集群中的其他节点会检测到Master节点的状态变化。
选举新的Master节点：根据discovery.zen.ping.unicast.hosts配置中指定的Master候选节点列表，集群会自动选举一个新的Master节点。
更新集群状态：一旦新的Master节点被选中，它会更新集群状态，包括更新节点列表、分片分配等信息。
重新分配分片：如果Master节点宕机导致某些分片不可用，新的Master节点会重新分配分片，以确保数据的高可用性。
恢复集群健康状态：新的Master节点会监控集群的健康状态，并尝试恢复任何因Master节点宕机而导致的异常状态。

服务可用性

读写操作：在选举过程中，写操作（如索引文档、更新文档等）可能会暂时受到限制，因为新的Master节点需要时间来更新集群状态和重新分配分片。然而，读操作（如搜索文档）通常仍然可以继续进行，因为数据节点仍然可以处理查询请求。
临时限制：在选举过程中，新的Master节点可能会暂时限制某些操作，以确保集群状态的一致性和数据的完整性。这可能会导致一些客户端请求被延迟处理。
集群健康状态：集群的健康状态可能会暂时变为黄色或红色，直到新的Master节点完成集群状态的更新和分片的重新分配。

实际影响

短暂延迟：在Master节点选举过程中，集群可能会经历短暂的延迟，但这通常不会导致服务完全不可用。
客户端重试机制：客户端通常会配置重试机制，在遇到暂时性的故障时自动重试请求。
高可用性配置：如果集群配置得当，具有足够的Master节点和副本分片，那么即使在Master节点宕机时，集群也能够快速恢复，并保持服务的连续性。

如何最小化影响

增加Master节点数量：确保至少有两个Master节点，以便在其中一个宕机时，另一个可以立即接管。
合理配置discovery.zen.minimum_master_nodes：确保集群有足够的Master节点来达成共识。
监控和维护：定期监控Master节点和数据节点的健康状态，并确保它们处于正常工作状态。
客户端配置：配置客户端以适应短暂的服务中断，例如通过增加重试次数和超时时间

Elasticsearch (ES) 集群中协调节点是什么？

在Elasticsearch (ES) 集群中，协调节点（Coordinator Node）是负责接收客户端请求并协调这些请求在集群中的执行的节点。协调节点不是一种特殊的节点类型，而是指集群中的任何一个节点，它可以在接收到客户端请求时扮演协调者的角色。以下是协调节点的主要职责：

协调节点的主要职责

接收客户端请求：协调节点负责接收来自客户端的HTTP请求，这些请求可以是索引文档、搜索文档、管理集群等操作。
解析请求：协调节点解析客户端请求的内容，理解请求的目的和参数。
分发请求

：根据请求的类型和内容，协调节点将请求分发到集群中的适当节点或分片。
- 对于索引文档，协调节点会将请求发送到相应的主分片或副本分片。
- 对于搜索请求，协调节点会将请求分发到相关的主分片和副本分片。
汇总结果：对于搜索请求，协调节点会汇总来自各个分片的结果，并进行必要的排序、过滤、分页等操作。
返回结果：协调节点将最终的结果返回给客户端。

协调节点的特点

动态角色：任何节点都可以扮演协调节点的角色，这取决于哪个节点接收到了客户端的请求。
无状态：协调节点本身不存储数据，它只是作为客户端和集群之间的桥梁。
可伸缩性：协调节点的数量可以根据需要进行调整，以支持更高的并发请求量。

示例说明

假设您有一个Elasticsearch集群，其中包括3个数据节点，每个节点上都有主分片和副本分片。您想要执行一个搜索请求来查找包含关键词 “laptop” 的文档。

客户端发起请求：

客户端发送一个GET请求到Elasticsearch集群，URL如下：
```
1GET /products/_search
```

请求体包含查询条件：

1{
2  "query": {
3    "match": {
4      "description": "laptop"
5    }
6  }
7}

协调节点接收请求：
- 假设请求被发送到了节点A，此时节点A扮演协调节点的角色。
- 协调节点A解析请求内容，并准备将搜索请求分发到相关的主分片和副本分片。
搜索请求分发到主分片和副本分片：
- 协调节点A将搜索请求分发到与查询相关的主分片和副本分片。
- 假设索引 products 有5个主分片，每个主分片都有一个副本分片，那么每个主分片和副本分片都会执行搜索操作。
汇总结果：
- 主分片和副本分片返回的结果会在协调节点A上进行汇总。
返回搜索结果：
- 协调节点A将最终的搜索结果返回给客户端。

Elasticsearch 中搜索数据的过程

在Elasticsearch (ES) 集群中，搜索数据的过程涉及多个步骤，从客户端发出搜索请求到返回搜索结果。以下是搜索数据过程的详细解释：

1. 客户端发起搜索请求

搜索请求：客户端（如应用程序或浏览器）通过HTTP接口向Elasticsearch发送搜索请求。
请求参数：搜索请求通常包含查询字符串、搜索条件、排序规则、分页参数等。

2. 协调节点接收请求

协调节点：在Elasticsearch集群中，通常有一个或多个协调节点（Coordinator Node）负责接收客户端的请求。
解析请求：协调节点解析搜索请求，并将其转化为可以在集群中执行的搜索命令。

3. 搜索请求分发到主分片

分发请求：协调节点将搜索请求分发到与查询相关的主分片。
搜索执行：每个主分片在本地执行搜索操作，并返回结果。

4. 副本分片参与搜索

搜索副本分片：为了提高搜索性能，协调节点还可以将搜索请求发送到相关的副本分片。
合并结果：主分片和副本分片返回的结果会在协调节点上合并。

5. 结果排序和过滤

排序：根据搜索请求中的排序规则，对返回的结果进行排序。
过滤：应用过滤条件，如过滤器，以进一步缩小结果集。

6. 分页和聚合

分页：如果请求中有分页参数，协调节点会对结果进行分页处理。
聚合：如果请求中包含聚合操作，协调节点会执行聚合，并返回聚合结果。

7. 返回搜索结果

结果合并：协调节点将来自不同分片的结果合并，并按需排序和过滤。
返回结果：协调节点将最终的搜索结果返回给客户端。

示例说明

假设您有一个索引 products，并且您想搜索包含关键词 “laptop” 的产品，并按价格降序排序。

客户端发起请求：

客户端发送一个GET请求到Elasticsearch集群，URL如下：
```
1GET /products/_search
```

请求体包含查询条件和排序规则：

1{
2  "query": {
3    "match": {
4      "description": "laptop"
5    }
6  },
7  "sort": [
8    { "price": { "order": "desc" } }
9  ]
10}

协调节点接收请求：
- 协调节点接收请求并解析请求体。
搜索请求分发到主分片：
- 协调节点将搜索请求分发到与查询相关的主分片。
- 假设索引 products 有5个主分片，每个主分片都会执行搜索操作。
搜索副本分片：
- 协调节点也可以将搜索请求发送到相关的副本分片。
- 假设每个主分片都有一个副本分片，那么每个副本分片也会执行搜索操作。
结果排序和过滤：
- 主分片和副本分片返回的结果会在协调节点上进行排序和过滤。
- 结果按照价格降序排序。
分页和聚合：
- 如果请求中包含分页参数，协调节点会对结果进行分页处理。
- 如果请求中包含聚合操作，协调节点会执行聚合，并返回聚合结果。
返回搜索结果：
- 协调节点将最终的搜索结果返回给客户端。

注意事项

搜索性能：通过合理配置分片数量和副本分片数量，可以提高搜索性能。
查询优化：使用更高效的查询类型和过滤器可以减少搜索时间。
集群配置：确保集群配置合理，以支持高并发的搜索请求。
资源分配：合理分配节点资源，如CPU、内存和磁盘空间，以提高搜索性能。