【微服务】Elasticsearch文档索引库操作(二)

🚗Es学习·第二站~
🚩Es学习起始站：【微服务】Elasticsearch概述&环境搭建(一)
🚩本文已收录至专栏：微服务探索之旅
👍希望您能有所收获

一.索引库操作

索引库就类似数据库表，mapping映射就类似表的结构。我们要向es中存储数据，必须先创建“库”和“表”。

(1) mapping映射属性

mapping是对索引库中文档的约束，常见的mapping属性包括：

• type：字段数据类型，常见的简单类型有：
  • 字符串：text（可分词的文本）、keyword（精确值，例如：品牌、国家、ip地址）
  • 数值：long、integer、short、byte、double、float、
  • 布尔：boolean
  • 日期：date
  • 对象：object
• index：是否创建倒排索引（字段能否被搜索），默认为true
• analyzer：使用哪种分词器，一般只有text类型需要使用
• properties：指定字段的子字段

例如下面的json文档：

{"age": 21,"weight": 52.1,"isMarried": false,"info": "观止BlogNote","email": "[e-mail]","score": [99.1, 99.5, 98.9],"name": {"firstName": "观","lastName": "止"}
}

对应的每个字段索引库映射（mapping）如下：

• age：类型为 integer；参与搜索，index应为true；无需分词器
• weight：类型为float；参与搜索，index应为true；无需分词器
• isMarried：类型为boolean；参与搜索，index应为true；无需分词器
• info：类型为字符串，需要分词，因此是text；参与搜索，index应为true；分词器可以用ik_smart
• email：类型为字符串，但是不需要分词，因此是keyword；不参与搜索，index应为false；无需分词器
• score：虽然看起来是数组，但是我们只看其中元素的类型，类型为float；参与搜索，index应为true；无需分词器
• name：类型为object，需要定义多个子属性
  • name.firstName；类型为字符串，但是不需要分词，因此是keyword；参与搜索，index应为true；无需分词器
  • name.lastName；类型为字符串，但是不需要分词，因此是keyword；参与搜索，index应为true；无需分词器

(2) 索引库的CRUD

这里我们先统一使用Kibana编写DSL的方式来演示，随后再在Java中操作演示。

(2.1) 创建索引库和映射

(2.1.1) 基本语法

• 请求方式：PUT

• 请求路径：/索引库名，可以自定义

• 请求参数：mapping映射

格式：

PUT /索引库名称
{"mappings": {"properties": {"字段名":{"type": "数据类型","analyzer": "分词器"},"字段名2":{"type": "数据类型","index": boolean值},"字段名3":{"properties": {"子字段": {"type": "数据类型"}}},// ...略}}
}

(2.1.2) 示例代码

PUT /guanzhi
{"mappings": {"properties": {"info": {"type": "text","analyzer": "ik_smart"},"email": {"type": "keyword","index": false},"name": {"type": "object","properties": {"firstName": {"type": "keyword"},"lastName":{"type": "keyword"}}}// ...略}}
}

(2.2) 查询索引库

(2.2.1) 基本语法

• 请求方式：GET

• 请求路径：/索引库名

• 请求参数：无

格式：

GET /索引库名

(2.2.2) 示例代码

GET /guanzhi

(2.3) 修改索引库

(2.3.1) 说明

倒排索引结构虽然不复杂，但是一旦数据结构改变（比如改变了分词器），就需要重新创建倒排索引。因此索引库一旦创建，无法修改mapping中已有的字段，但是却允许添加新的字段到mapping中，因为不会对倒排索引产生影响。

(2.3.2) 基本语法

• 请求方式：PUT

• 请求路径：/索引库名/_mapping，可以自定义

• 请求参数：mapping映射

格式:

PUT /索引库名/_mapping
{"properties": {"新字段名":{"type": "数据类型"}}
}

(2.3.3) 示例代码

PUT /guanzhi/_mapping
{"properties": {"age":{"type": "integer"}}
}

(2.4) 删除索引库

(2.4.1) 基本语法

• 请求方式：DELETE

• 请求路径：/索引库名

• 请求参数：无

格式:

DELETE /索引库名

(2.4.2) 示例代码

DELETE /guanzhi

二.文档操作

上述我们已经学会了如何创建索引库，接下来让我们一起在索引库中操作数据。

(1) 新增文档

(1.1) 基本语法

• 请求方式：POST

• 请求路径：/索引库名/_doc/文档id

• 请求参数：json文档

格式：

POST /索引库名/_doc/文档id
{"字段1": "值1","字段2": "值2","字段3": {"子属性1": "值3","子属性2": "值4"},// ...
}

(1.2) 示例代码

POST /guanzhi/_doc/1
{"info": "观止BlogNote","email": "[e-mail]","name": {"firstName": "止","lastName": "观"}
}

(2) 查询文档

(2.1) 基本语法

• 请求方式：GET

• 请求路径：/索引库名称/_doc/文档id

• 请求参数：无

语法：

GET /索引库名称/_doc/文档id

(2.2) 示例代码

GET /guanzhi/_doc/1

(3) 删除文档

(3.1) 基本语法

• 请求方式：DELETE

• 请求路径：/索引库名/_doc/文档id

• 请求参数：无

语法：

DELETE /索引库名/_doc/文档id

(3.2) 示例代码

# 根据id删除数据
DELETE /guanzhi/_doc/1

(4) 修改文档

修改有两种方式：

• 全量修改：会删除旧文档，添加新文档
• 增量修改：指定修改文档中的部分字段

(4.1) 全量修改

(4.1.1) 概述

全量修改是覆盖原来的文档，其本质是：

• 根据指定的id删除文档
• 新增一个相同id的文档

注意：如果根据id删除时，id不存在，第二步的新增也会执行，也就从修改变成了新增操作了。

(4.1.2) 基本语法

• 请求方式：PUT

• 请求路径：/索引库名/_doc/文档id

• 请求参数：json文档

语法：

PUT /索引库名/_doc/文档id
{"字段1": "值1","字段2": "值2",// ... 略
}

(4.1.3) 示例代码

PUT /guanzhi/_doc/1
{"info": "观止BlogNote","email": "[e-mail]","name": {"firstName": "止","lastName": "观"}
}

(4.2) 增量修改

增量修改是只修改指定id匹配的文档中的部分字段。

(4.2.1) 基本语法

• 请求方式：POST

• 请求路径：/索引库名/_update/文档id

• 请求参数：json文档

语法：

POST /索引库名/_update/文档id
{"doc": {"字段名": "新的值",}
}

(4.2.2) 示例代码

POST /guanzhi/_update/1
{"doc": {"info": "观止Note",}
}

三.RestAPI操作

ES官方提供了各种不同语言的客户端，用来操作ES。这些客户端的本质就是组装DSL语句，通过http请求发送给ES。接下来我们学习的是Java HighLevel Rest Client客户端API，一起使用Java代码操作Es。
高版本Es请跳过如下教程~
注：在Es7.15版本之后，Es官方将它的高级客户端RestHighLevelClient标记为弃用状态。同时推出了全新的Java API客户端Elasticsearch Java API Client，该客户端也将在Es8.0及以后版本中成为官方推荐使用的客户端。

(1) 环境搭建

(1.1) 导入数据

链接：https://pan.baidu.com/s/1eSlsQ6ypaDNkqXO75mC6IA
提取码：3yzw

首先运行资料中的sql文件：

数据结构如下：

CREATE TABLE `tb_hotel` (`id` bigint(20) NOT NULL COMMENT '酒店id',`name` varchar(255) NOT NULL COMMENT '酒店名称；例：7天酒店',`address` varchar(255) NOT NULL COMMENT '酒店地址；例：航头路',`price` int(10) NOT NULL COMMENT '酒店价格；例：329',`score` int(2) NOT NULL COMMENT '酒店评分；例：45，就是4.5分',`brand` varchar(32) NOT NULL COMMENT '酒店品牌；例：如家',`city` varchar(32) NOT NULL COMMENT '所在城市；例：上海',`star_name` varchar(16) DEFAULT NULL COMMENT '酒店星级，从低到高分别是：1星到5星，1钻到5钻',`business` varchar(255) DEFAULT NULL COMMENT '商圈；例：虹桥',`latitude` varchar(32) NOT NULL COMMENT '纬度；例：31.2497',`longitude` varchar(32) NOT NULL COMMENT '经度；例：120.3925',`pic` varchar(255) DEFAULT NULL COMMENT '酒店图片；例:/img/1.jpg',PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;

(1.2) 导入项目

然后导入资料提供的项目:

项目结构如图：

(1.3) 导入依赖

1. 引入es的RestHighLevelClient依赖：

<dependency><groupId>org.elasticsearch.client</groupId><artifactId>elasticsearch-rest-high-level-client</artifactId>
</dependency>

2. 因为SpringBoot默认的ES版本是7.6.2，所以我们需要覆盖默认的ES版本：

<properties><java.version>1.8</java.version><elasticsearch.version>7.12.1</elasticsearch.version>
</properties>

(1.4) 初始化RestClient

在es提供的API中，与es一切交互都封装在一个名为RestHighLevelClient的类中，必须先完成这个对象的初始化，建立与elasticsearch的连接。

1. 初始化RestHighLevelClient：

RestHighLevelClient client = new RestHighLevelClient(RestClient.builder(HttpHost.create("http://192.168.150.101:9200")
));

2. 为了单元测试方便，我们创建一个测试类HotelIndexTest，然后将初始化的代码编写在@BeforeEach方法中：

package cn.itcast.hotel;import org.apache.http.HttpHost;
import org.elasticsearch.client.RestHighLevelClient;
import org.junit.jupiter.api.AfterEach;
import org.junit.jupiter.api.BeforeEach;
import org.junit.jupiter.api.Test;import java.io.IOException;public class HotelIndexTest {private RestHighLevelClient client;// 初始化代码，建立连接@BeforeEachvoid setUp() {this.client = new RestHighLevelClient(RestClient.builder(HttpHost.create("http://192.168.150.101:9200")));}// CRUD操作.....// 结束代码@AfterEachvoid tearDown() throws IOException {this.client.close();}
}

(2) RestClient操作索引库

(2.1) 创建索引库

(2.1.1) 分析映射

创建索引库，最关键的是分析mapping映射，而mapping映射要考虑的信息包括：

• 字段名
• 字段数据类型
• 是否参与搜索
• 是否需要分词
• 如果分词，分词器是什么？

其中：

• 字段名、字段数据类型，可以参考数据表结构的名称和类型
• 是否参与搜索要分析业务来判断，例如图片地址，就无需参与搜索
• 是否分词呢要看内容，内容如果是一个整体就无需分词，反之则要分词
• 分词器，我们可以统一使用ik_max_word

根据数据库表结构可创建如下索引库结构:

PUT /hotel
{"mappings": {"properties": {"id": {"type": "keyword"},"name":{"type": "text","analyzer": "ik_max_word","copy_to": "all"},"address":{"type": "keyword","index": false},"price":{"type": "integer"},"score":{"type": "integer"},"brand":{"type": "keyword","copy_to": "all"},"city":{"type": "keyword","copy_to": "all"},"starName":{"type": "keyword"},"business":{"type": "keyword"},"location":{"type": "geo_point"},"pic":{"type": "keyword","index": false},"all":{"type": "text","analyzer": "ik_max_word"}}}
}

几个特殊字段说明：

• location：地理坐标，里面包含精度、纬度
• all：一个组合字段，其目的是将多字段的值 利用copy_to合并，提供给用户搜索

地理坐标说明：

copy_to说明，让Es对单个字段进行搜索，提高搜索效率：

(2.1.2) Java操作

创建索引库的API如下：

• 代码分为三步：

  1. 创建Request对象。因为是创建索引库的操作，因此Request是CreateIndexRequest。

  2. 添加请求参数，其实就是DSL的JSON参数部分。因为json字符串很长，这里是定义了静态字符串常量MAPPING_TEMPLATE，让代码看起来更加优雅。

  3. 发送请求，client.indices()方法的返回值是IndicesClient类型，封装了所有与索引库操作有关的方法。

1. 创建一个constants常量类，定义上述mapping映射的JSON字符串常量：

package cn.itcast.hotel.constants;public class HotelConstants {public static final String MAPPING_TEMPLATE = "{\n" +"  \"mappings\": {\n" +"    \"properties\": {\n" +"      \"id\": {\n" +"        \"type\": \"keyword\"\n" +"      },\n" +"      \"name\":{\n" +"        \"type\": \"text\",\n" +"        \"analyzer\": \"ik_max_word\",\n" +"        \"copy_to\": \"all\"\n" +"      },\n" +"      \"address\":{\n" +"        \"type\": \"keyword\",\n" +"        \"index\": false\n" +"      },\n" +"      \"price\":{\n" +"        \"type\": \"integer\"\n" +"      },\n" +"      \"score\":{\n" +"        \"type\": \"integer\"\n" +"      },\n" +"      \"brand\":{\n" +"        \"type\": \"keyword\",\n" +"        \"copy_to\": \"all\"\n" +"      },\n" +"      \"city\":{\n" +"        \"type\": \"keyword\",\n" +"        \"copy_to\": \"all\"\n" +"      },\n" +"      \"starName\":{\n" +"        \"type\": \"keyword\"\n" +"      },\n" +"      \"business\":{\n" +"        \"type\": \"keyword\"\n" +"      },\n" +"      \"location\":{\n" +"        \"type\": \"geo_point\"\n" +"      },\n" +"      \"pic\":{\n" +"        \"type\": \"keyword\",\n" +"        \"index\": false\n" +"      },\n" +"      \"all\":{\n" +"        \"type\": \"text\",\n" +"        \"analyzer\": \"ik_max_word\"\n" +"      }\n" +"    }\n" +"  }\n" +"}";
}

2. 在hotel-demo中的HotelIndexTest测试类中，编写单元测试，实现创建索引：

@Test
void createHotelIndex() throws IOException {// 1.创建Request对象CreateIndexRequest request = new CreateIndexRequest("hotel");// 2.准备请求的参数：DSL语句request.source(MAPPING_TEMPLATE, XContentType.JSON);// 3.发送请求client.indices().create(request, RequestOptions.DEFAULT);
}

(2.2) 删除索引库

删除索引库操作非常简单，与创建索引库之间代码的差异，注意体现在Request对象上。依然是三步走：

1. 创建Request对象。这次是DeleteIndexRequest对象
2. 发送请求。改用delete方法

在hotel-demo中的HotelIndexTest测试类中，编写单元测试，实现删除索引：

@Test
void testDeleteHotelIndex() throws IOException {// 1.创建Request对象DeleteIndexRequest request = new DeleteIndexRequest("hotel");// 2.发送请求client.indices().delete(request, RequestOptions.DEFAULT);
}

(2.3) 判断索引库是否存在

判断索引库是否存在，本质就是查询，对应的DSL是：

GET /hotel

因此与删除的Java代码流程是类似的。依然是三步走：

1. 创建Request对象。这次是GetIndexRequest对象
2. 发送请求。改用exists方法

@Test
void testExistsHotelIndex() throws IOException {// 1.创建Request对象GetIndexRequest request = new GetIndexRequest("hotel");// 2.发送请求boolean exists = client.indices().exists(request, RequestOptions.DEFAULT);// 3.输出System.err.println(exists ? "索引库已经存在！" : "索引库不存在！");
}

(2.4) 小结

JavaRestClient操作elasticsearch的流程基本类似。核心是client.indices()方法来获取索引库的操作对象。

索引库操作的基本步骤：

• 初始化RestHighLevelClient
• 创建XxxIndexRequest。XXX是Create、Get、Delete
• 准备DSL（ Create时需要，其它是无参）
• 发送请求。调用RestHighLevelClient#indices().xxx()方法，xxx是create、exists、delete

(3) RestClient操作文档

(3.1) 初始化

为了与上述索引库操作分离，我们再次增加一个测试类，做两件事情：

• 初始化RestHighLevelClient
• 我们的酒店数据在数据库，需要利用IHotelService去查询，所以注入这个接口
• 添加@SpringBootTest注解，否则无法注入接口

package cn.itcast.hotel;import cn.itcast.hotel.pojo.Hotel;
import cn.itcast.hotel.service.IHotelService;
import org.junit.jupiter.api.AfterEach;
import org.junit.jupiter.api.BeforeEach;
import org.junit.jupiter.api.Test;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.boot.test.context.SpringBootTest;import java.io.IOException;
import java.util.List;@SpringBootTest
public class HotelDocumentTest {@Autowiredprivate IHotelService hotelService;private RestHighLevelClient client;@BeforeEachvoid setUp() {this.client = new RestHighLevelClient(RestClient.builder(HttpHost.create("http://192.168.150.101:9200")));}// CRUD操作@AfterEachvoid tearDown() throws IOException {this.client.close();}
}

(3.2) 新增文档

目的：将数据库的酒店数据查询出来，写入elasticsearch中。

(3.2.1) 索引库实体类

数据库查询后的结果是一个Hotel类型的对象。结构如下：

@Data
@TableName("tb_hotel")
public class Hotel {@TableId(type = IdType.INPUT)private Long id;private String name;private String address;private Integer price;private Integer score;private String brand;private String city;private String starName;private String business;private String longitude;private String latitude;private String pic;
}

与我们的索引库结构存在差异：

• longitude和latitude需要合并为location

因此，我们需要定义一个新的类型，与索引库结构吻合：

package cn.itcast.hotel.pojo;import lombok.Data;
import lombok.NoArgsConstructor;@Data
@NoArgsConstructor
public class HotelDoc {private Long id;private String name;private String address;private Integer price;private Integer score;private String brand;private String city;private String starName;private String business;private String location;private String pic;public HotelDoc(Hotel hotel) {this.id = hotel.getId();this.name = hotel.getName();this.address = hotel.getAddress();this.price = hotel.getPrice();this.score = hotel.getScore();this.brand = hotel.getBrand();this.city = hotel.getCity();this.starName = hotel.getStarName();this.business = hotel.getBusiness();this.location = hotel.getLatitude() + ", " + hotel.getLongitude();this.pic = hotel.getPic();}
}

(3.2.2) 语法说明

对应的java代码如图：

可以看到与创建索引库类似，同样是三步走：

1. 创建Request对象
2. 准备请求参数，也就是DSL中的JSON文档
3. 发送请求

变化的地方在于，这里直接使用client.xxx()的API，不再需要client.indices()了。

(3.2.3) 完整代码

我们导入酒店数据，基本流程一致，但是需要考虑几点变化：

• 酒店数据来自于数据库，我们需要先查询出来，得到hotel对象
• hotel对象需要转为HotelDoc对象
• HotelDoc需要序列化为json格式

创建HotelDocumentTest测试类，编写单元测试，代码整体步骤如下：

@Test
void testAddDocument() throws IOException {// 1.根据id查询酒店数据Hotel hotel = hotelService.getById(61083L);// 2.转换为文档类型，Hotel封装为HotelDocHotelDoc hotelDoc = new HotelDoc(hotel);// 3.将HotelDoc转jsonString json = JSON.toJSONString(hotelDoc);// 1.准备Request对象，指定索引库名和idIndexRequest request = new IndexRequest("hotel").id(hotelDoc.getId().toString());// 2.准备Json文档request.source(json, XContentType.JSON);// 3.发送请求client.index(request, RequestOptions.DEFAULT);
}

(3.2.4) 测试

在dev tool中查询我们可以看到已经成功添加了一条文档数据

(3.3) 查询文档

(3.3.1) 语法说明

查询操作非常简单，不过查询的目的是得到封装实体类结果。因此难点是解析为HotelDoc。

可以看到，结果是一个JSON，其中文档放在一个_source属性中，因此解析就是拿到_source，反序列化为Java对象即可。

与之前类似，也是三步走：

1. 准备Request对象。这次是查询，所以是GetRequest
2. 发送请求，得到结果。因为是查询，这里调用client.get()方法
3. 解析结果，就是对JSON做反序列化

(3.3.2) 完整代码

在hotel-demo的HotelDocumentTest测试类中，编写单元测试：

@Test
void testGetDocumentById() throws IOException {// 1.准备RequestGetRequest request = new GetRequest("hotel", "61082");// 2.发送请求，得到响应GetResponse response = client.get(request, RequestOptions.DEFAULT);// 3.解析响应结果String json = response.getSourceAsString();// 4.使用fastJson解析Json字符串HotelDoc hotelDoc = JSON.parseObject(json, HotelDoc.class);System.out.println(hotelDoc);
}

(3.3.3) 测试

可以看到结果和我们插入的数据一致

(3.4) 删除文档

与查询类似，删除操作也非常简单：

1. 准备Request对象，因为是删除，这次是DeleteRequest对象。要指定索引库名和id
2. 发送请求。因为是删除，所以是client.delete()方法

在hotel-demo的HotelDocumentTest测试类中，编写单元测试：

@Test
void testDeleteDocument() throws IOException {// 1.准备RequestDeleteRequest request = new DeleteRequest("hotel", "61083");// 2.发送请求client.delete(request, RequestOptions.DEFAULT);
}

(3.5) 修改文档

(3.5.1) 语法说明

修改我们讲过两种方式：

• 全量修改：本质是先根据id删除，再新增
• 增量修改：修改文档中的指定字段值

在RestClient的API中，全量修改与新增的API完全一致，判断依据是ID：

• 如果新增时，ID已经存在，则修改
• 如果新增时，ID不存在，则新增

这里不再赘述，我们主要关注增量修改。

代码示例如图：

与之前类似，也是三步走：

1. 准备Request对象。这次是修改，所以是UpdateRequest
2. 准备参数。里面包含要修改的字段
3. 更新文档。这里调用client.update()方法

(3.5.2) 完整代码

在hotel-demo的HotelDocumentTest测试类中，编写单元测试：

@Test
void testUpdateDocument() throws IOException {// 1.准备RequestUpdateRequest request = new UpdateRequest("hotel", "61083");// 2.准备请求参数request.doc("price", "952","starName", "四钻");// 3.发送请求client.update(request, RequestOptions.DEFAULT);
}

(3.6) 批量操作文档

(3.6.1) 语法说明

批量处理BulkRequest，其本质就是将多个普通的CRUD请求组合在一起发送。

其中提供了一个add方法，用来添加其他请求：

可以看到，能添加的请求包括：

• IndexRequest，也就是新增
• UpdateRequest，也就是修改
• DeleteRequest，也就是删除

因此Bulk中添加了多个IndexRequest，就是批量新增功能了。示例：

(3.6.2) 案例

目的：从数据中查询酒店数据，利用BulkRequest批量导入到索引库中

其实还是三步走：

1. 创建Request对象。这里是BulkRequest
2. 准备参数。批处理的参数，就是其它Request对象，这里就是多个IndexRequest
3. 在导入酒店数据时，可以使用for循环批量添加参数。
4. 发起请求。这里是批处理，调用的方法为client.bulk()方法

(3.6.3) 完整代码

在hotel-demo的HotelDocumentTest测试类中，编写单元测试：

@Test
void testBulkRequest() throws IOException {// 在数据库批量查询酒店数据List<Hotel> hotels = hotelService.list();// 1.创建RequestBulkRequest request = new BulkRequest();// 2.准备参数，添加多个新增的Requestfor (Hotel hotel : hotels) {// 2.1.转换为文档类型HotelDocHotelDoc hotelDoc = new HotelDoc(hotel);// 2.2.创建新增文档的Request对象request.add(new IndexRequest("hotel").id(hotelDoc.getId().toString()).source(JSON.toJSONString(hotelDoc), XContentType.JSON));}// 3.发送请求client.bulk(request, RequestOptions.DEFAULT);
}

(3.7) 小结

文档操作的基本步骤：

• 初始化RestHighLevelClient
• 创建XxxRequest。XXX是Index、Get、Update、Delete、Bulk
• 准备参数（Index、Update、Bulk时需要）
• 发送请求。调用RestHighLevelClient#.xxx()方法，xxx是index、get、update、delete、bulk
• 解析结果（Get时需要）