当前位置: 首页 > news >正文

掌握ElasticSearch(五):查询和过滤器

一、查询和过滤器的区别

在 Elasticsearch 中,查询(Query)和过滤器(Filter)是用于检索和筛选数据的重要组成部分。它们虽然都能用来查找文档,但在性能和用法上有所不同。下面详细介绍查询和过滤器的概念以及它们之间的区别。

查询 (Query)

查询不仅用于查找匹配的文档,还可以计算相关性得分(_score),以确定文档与查询的匹配程度。查询通常用于全文搜索、短语匹配等场景,其中文档的相关性非常重要。

过滤器 (Filter)

过滤器用于精确筛选文档,不计算相关性得分。因此,过滤器比查询更快,因为它们不需要计算分数。过滤器通常用于过滤特定条件的文档,如日期范围、特定值等。

性能差异

  • 查询:计算相关性得分,性能相对较低。
  • 过滤器:不计算相关性得分,性能较高,适合用于频繁使用的条件。

使用场景

  • 查询:当需要根据相关性排序结果时,例如全文搜索、推荐系统等。
  • 过滤器:当需要精确筛选文档时,例如日期范围、类别过滤等。

组合使用

在实际应用中,查询和过滤器经常一起使用,以达到最佳效果。例如,可以使用 bool 查询来组合查询和过滤器:

{"query": {"bool": {"must": [{"match": {"title": "Elasticsearch"}}],"filter": [{"range": {"publish_date": {"gte": "2023-01-01","lte": "2023-12-31"}}}]}}
}

在这个例子中:

  • must 子句中的 match 查询用于全文搜索标题中包含 “Elasticsearch” 的文档。
  • filter 子句中的 range 过滤器用于筛选 publish_date 在 2023 年内的文档。

二、ElasticSearch的查询类型

Elasticsearch 提供了多种查询类型,每种类型都有其特定的用途和适用场景。下面是一些常见的查询类型及其简要说明:

在这里插入图片描述

1. 全文查询 (Full Text Queries)

这些查询类型用于全文搜索,可以处理复杂的自然语言查询。

  • Match Query: 最常用的全文查询,可以处理分析器对文本的分析。

    {"match": {"field": "text"}
    }
    
  • Multi Match Query: 类似于 match 查询,但可以在多个字段上进行搜索。

    {"multi_match": {"query": "text","fields": ["field1", "field2"]}
    }
    
  • Match Phrase Query: 用于匹配完整的短语,而不是单独的词项。

    {"match_phrase": {"field": "text"}
    }
    
  • Match Phrase Prefix Query: 类似于 match_phrase,但允许前缀匹配。

    {"match_phrase_prefix": {"field": "text"}
    }
    
  • Common Terms Query: 用于查找常见词和不常见词,可以控制如何处理低频词和高频词。

    {"common": {"field": {"query": "text","cutoff_frequency": 0.001}}
    }
    

2. 术语级别查询 (Term Level Queries)

这些查询类型用于精确匹配,不涉及分析器。

  • Term Query: 用于精确匹配单个词项。

    {"term": {"field": "value"}
    }
    
  • Terms Query: 用于匹配多个词项。

    {"terms": {"field": ["value1", "value2"]}
    }
    
  • Range Query: 用于匹配某个范围内的值。

    {"range": {"field": {"gte": 10,"lte": 20}}
    }
    
  • Exists Query: 用于检查某个字段是否存在。

    {"exists": {"field": "field"}
    }
    
  • Prefix Query: 用于前缀匹配。

    {"prefix": {"field": "pre"}
    }
    
  • Wildcard Query: 用于通配符匹配。

    {"wildcard": {"field": "te*t"}
    }
    
  • Regexp Query: 用于正则表达式匹配。

    {"regexp": {"field": "te.*t"}
    }
    

3. 布尔查询 (Compound Queries)

这些查询类型用于组合多个查询条件。

  • Bool Query: 用于组合多个查询条件,支持 must, should, must_not, filter 子句。

    {"bool": {"must": [{ "match": { "field1": "text" } }],"should": [{ "match": { "field2": "text" } }],"must_not": [{ "match": { "field3": "text" } }],"filter": [{ "range": { "field4": { "gte": 10 } } }]}
    }
    
  • Dis Max Query: 用于在多个字段上进行查询,并选择最相关的文档。

    {"dis_max": {"queries": [{ "match": { "field1": "text" } },{ "match": { "field2": "text" } }]}
    }
    
  • Constant Score Query: 用于将查询转换为固定得分。

    {"constant_score": {"filter": {"term": { "field": "value" }}}
    }
    

4. 特殊查询 (Specialized Queries)

这些查询类型用于特定的高级功能。

  • Function Score Query: 用于自定义文档的得分。

    {"function_score": {"query": { "match_all": {} },"functions": [{"gauss": {"field": {"origin": "2023-01-01","scale": "10d"}}}]}
    }
    
  • Script Score Query: 用于使用脚本计算文档的得分。

    {"script_score": {"query": { "match_all": {} },"script": {"source": "doc['field'].value * 2"}}
    }
    
  • More Like This Query: 用于查找与给定文档相似的文档。

    {"more_like_this": {"fields": ["field1", "field2"],"like": "text","min_term_freq": 1,"min_doc_freq": 1}
    }
    

5. 地理查询 (Geo Queries)

这些查询类型用于地理空间数据的搜索。

  • Geo Distance Query: 用于查找距离指定点一定范围内的文档。

    {"geo_distance": {"distance": "200km","location": {"lat": 40.715,"lon": -74.006}}
    }
    
  • Geo Bounding Box Query: 用于查找位于指定矩形区域内的文档。

    {"geo_bounding_box": {"location": {"top_left": {"lat": 40.73,"lon": -74.00},"bottom_right": {"lat": 40.71,"lon": -73.99}}}
    }
    
  • Geo Polygon Query: 用于查找位于指定多边形区域内的文档。

    {"geo_polygon": {"location": {"points": [{ "lat": 40.73, "lon": -74.00 },{ "lat": 40.73, "lon": -73.99 },{ "lat": 40.71, "lon": -73.99 },{ "lat": 40.71, "lon": -74.00 }]}}
    }
    

6. 其他查询

  • Match All Query: 返回所有文档,常用于获取索引中的所有数据。

    {"match_all": {}
    }
    
  • Match None Query: 不返回任何文档,常用于测试或调试。

    {"match_none": {}
    }
    

三、ElasticSearch的过滤器类型

在 Elasticsearch 中,过滤器(Filter)用于精确筛选文档,不计算相关性得分,因此性能较高。下面是一些常见的过滤器类型及其简要说明:

在这里插入图片描述

1. 术语级别过滤器 (Term Level Filters)

这些过滤器用于精确匹配,不涉及分析器。

  • Term Filter: 用于精确匹配单个词项。

    {"term": {"field": "value"}
    }
    
  • Terms Filter: 用于匹配多个词项。

    {"terms": {"field": ["value1", "value2"]}
    }
    
  • Range Filter: 用于匹配某个范围内的值。

    {"range": {"field": {"gte": 10,"lte": 20}}
    }
    
  • Exists Filter: 用于检查某个字段是否存在。

    {"exists": {"field": "field"}
    }
    
  • Prefix Filter: 用于前缀匹配。

    {"prefix": {"field": "pre"}
    }
    
  • Wildcard Filter: 用于通配符匹配。

    {"wildcard": {"field": "te*t"}
    }
    
  • Regexp Filter: 用于正则表达式匹配。

    {"regexp": {"field": "te.*t"}
    }
    

2. 布尔过滤器 (Boolean Filters)

这些过滤器用于组合多个过滤条件。

  • Bool Filter: 用于组合多个过滤条件,支持 must, should, must_not, filter 子句。
    {"bool": {"must": [{ "term": { "field1": "value1" } }],"should": [{ "term": { "field2": "value2" } }],"must_not": [{ "term": { "field3": "value3" } }],"filter": [{ "range": { "field4": { "gte": 10 } } }]}
    }
    

3. 特殊过滤器 (Specialized Filters)

这些过滤器用于特定的高级功能。

  • Script Filter: 用于使用脚本进行复杂的条件判断。

    {"script": {"script": {"source": "doc['field'].value > 10"}}
    }
    
  • Ids Filter: 用于匹配特定的文档 ID。

    {"ids": {"values": ["1", "2", "3"]}
    }
    

4. 地理过滤器 (Geo Filters)

这些过滤器用于地理空间数据的筛选。

  • Geo Distance Filter: 用于查找距离指定点一定范围内的文档。

    {"geo_distance": {"distance": "200km","location": {"lat": 40.715,"lon": -74.006}}
    }
    
  • Geo Bounding Box Filter: 用于查找位于指定矩形区域内的文档。

    {"geo_bounding_box": {"location": {"top_left": {"lat": 40.73,"lon": -74.00},"bottom_right": {"lat": 40.71,"lon": -73.99}}}
    }
    
  • Geo Polygon Filter: 用于查找位于指定多边形区域内的文档。

    {"geo_polygon": {"location": {"points": [{ "lat": 40.73, "lon": -74.00 },{ "lat": 40.73, "lon": -73.99 },{ "lat": 40.71, "lon": -73.99 },{ "lat": 40.71, "lon": -74.00 }]}}
    }
    

5. 其他过滤器

  • Match All Filter: 返回所有文档,常用于获取索引中的所有数据。

    {"match_all": {}
    }
    
  • Match None Filter: 不返回任何文档,常用于测试或调试。

    {"match_none": {}
    }
    

相关文章:

掌握ElasticSearch(五):查询和过滤器

一、查询和过滤器的区别 在 Elasticsearch 中,查询(Query)和过滤器(Filter)是用于检索和筛选数据的重要组成部分。它们虽然都能用来查找文档,但在性能和用法上有所不同。下面详细介绍查询和过滤器的概念以…...

自学[vue+SpringCloud]-012-SpringCloud工程发送邮件

文章目录 前言一、配置QQ邮箱1.1 设置1.2 获取授权码 二、服务发送邮件2.1 引入依赖包2.2 新建AlarmMessageDto2.3 增加controller代码2.4 main方法测试 总结 前言 skywalking监控通过webhook调用SpringCloud服务接口,接口中发送告警邮件。 一、配置QQ邮箱 1.1 设…...

STM32通信协议-I2C

目录 一,IC2的协议规则 I2C总线是PHILIPS公司开发的两线式串行总线,I2C总线主要解决了单片机一对多通信的问题 两根通信线:SCL,SDA,同步,半双工通信,支持数据应答机制,支持总线挂载多设备。 …...

廉颇老矣尚能饭否,实践甘肃数据挖掘挑战赛作物与杂草的智能识别,基于YOLOv3全系列【tiny/l/spp】参数模型开发构建田间低头作物杂草智能化检测识别模型

一、背景 田间杂草的有效管理是现代农业生产中面临的重要挑战之一。杂草不仅竞争作物的养分、 水分和阳光,还可能成为害虫和病原体的寄主,从而降低农作物的产量和品质。因此,开发 高效、精确的杂草检测和管理系统对于提高农业生产效率、降低化…...

基于Django+Python的宾馆管理系统设计与实现

项目运行 需要先安装Python的相关依赖:pymysql,Django3.2.8,pillow 使用pip install 安装 第一步:创建数据库 第二步:执行SQL语句,.sql文件,运行该文件中的SQL语句 第三步:修改源…...

MySQL--mysql的安装

1.Linux上mysql的安装: Ubuntu下: (1)安装前首先切换到管理员身份:sudo su (2)然后执行命令:apt install mysql-server (注意:装的是服务器端,客户端自动就安装了) (3)执行过程中按y; 2.Mysql初始化配置 注意,一定是sudo su,必须是管理员才能进行Mysql的初始化设置; 初始化…...

qt 构建、执行qmake、运行、重新构建、清除

qt右键功能有 构建、执行qmake、运行、重新构建、清除,下面简单介绍一下各个模块的作用。 1. 执行qmake qmake是一个工具, 它根据pro文件生成makefile文件,而makefile文件中则定义编译与连接的规则。pro文件中定义了头文件,源文件…...

微软发布 Win11 22H2/23H2 十月可选更新KB5044380!

系统之家于10月23日发出最新报道,微软针对Win11 22H2和23H2用户,发布了10月可选更新KB5044380,用户安装后版本号升至22621.4391和22631.4391。本次更新开始推出屏幕键盘的新游戏板键盘布局,支持用户使用Xbox控制器在屏幕上移动和键…...

TensorFlow面试整理-TensorFlow 基础概念

在学习和准备 TensorFlow 时,了解基础概念是至关重要的。以下是 TensorFlow 的一些核心基础概念: 1. Tensor (张量) ● 定义:张量是 TensorFlow 中的核心数据结构。它是一个多维数组,可以表示标量、向量、矩阵以及更高维的数组。张量在数学上与矩阵非常相似,但可以具有任意…...

Java实现HTTP代理的技巧与方法

在互联网时代,代理IP已经成为了网络访问中不可或缺的一部分。无论是为了保护隐私,还是为了访问特定的网络资源,代理IP都能发挥重要作用。那么,如何在Java中实现HTTP代理呢?本文将带您逐步了解这个过程。 什么是HTTP代…...

MFC图形函数学习02——绘制像素点函数

再次强调一下,我们这里学习的MFC图形函数,是指绘制二维图形的函数。一般来说,一个二维图形组成的基本要素是点、线、面以及相关的颜色。在本文中,将学习绘制像素点函数,与绘制像素点相关的其它基础知识也随着绘图函数学…...

Oracle CONNECT BY、PRIOR和START WITH关键字详解

Oracle CONNECT BY、PRIOR和START WITH关键字详解 1. 基本概念2. 数据示例3. SQL示例3.1. 查询所有员工及其上级3.2. 显示层次结构3.3. 查询特定员工的子级 4. 结论 在Oracle数据库中,CONNECT BY、PRIOR和START WITH关键字主要用于处理层次结构数据,例如…...

gateway 整合 spring security oauth2

微服务分布式认证授权方案 在分布式授权系统中,授权服务要独立成一个模块做统一授权,无论客户端是浏览器,app或者第三方,都会在授权服务中获取权限,并通过网关访问资源 OAuth2的四种授权模式 授权码模式 授权服务器将授…...

Unity3D学习FPS游戏(1)获取素材、快速了解三维模型素材(骨骼、网格、动画、Avatar、材质贴图)

前言:最近重拾Unity,准备做个3D的FPS小游戏,这里以官方FPS案例素材作为切入。 导入素材和素材理解 安装Unity新建项目新建文件夹和Scene如何去理解三维模型素材找到模型素材素材预制体结构骨骼和网格材质(Material)、…...

Eclipse Java 构建路径

Eclipse Java 构建路径 Eclipse 是一款广受欢迎的集成开发环境(IDE),特别适用于 Java 开发。在 Eclipse 中,构建路径(Build Path)是指编译器在编译项目时搜索类(.class)文件和源代码(.java)文件的路径。正确设置构建路径对于确保项目能够顺利编译和运行至关重要。 …...

FileLink跨网文件摆渡系统:重构跨网文件传输新时代

在数字化浪潮的推动下,企业对于数据的高效利用和安全管理提出了前所未有的要求。面对不同网络环境间的文件传输难题,传统方法往往显得力不从心,不仅效率低下,还存在极大的安全隐患。而FileLink跨网文件摆渡系统的出现,…...

macOS下QuickTime player+Blackhole录视频只录制系统声音

Blackhole是一个虚拟的音频驱动程序,免费的 安装方法: 方法1:通过homebrew安装 前提:你的系统中自己安装了homebrew,没有安装用方法2 系统终端执行下面的命令中的一个: brew install blackhole-2ch 或…...

Vscode + EIDE +CortexDebug 调试Stm32(记录)

{// 使用 IntelliSense 了解相关属性。 // 悬停以查看现有属性的描述。// 欲了解更多信息,请访问: https://go.microsoft.com/fwlink/?linkid830387"version": "0.2.0","configurations": [{"cwd": "${workspaceRoot…...

qt QApplication详解

一、概述 QApplication是Qt应用程序的基础类,负责设置和管理应用的环境。它的主要功能包括:初始化应用程序、管理事件循环、处理命令行参数、提供全局设置(如样式和调色板)以及创建和管理主窗口。通常在main函数中创建QApplicati…...

C++ 图像处理框架

在 C 中,有许多优秀的图像处理框架可以用来进行图像操作、计算机视觉、图像滤波等任务。以下是一些常用的 C 图像处理框架,每个框架都有其独特的特性和适用场景: 1. OpenCV OpenCV(Open Source Computer Vision Library&#xf…...

Chapter03-Authentication vulnerabilities

文章目录 1. 身份验证简介1.1 What is authentication1.2 difference between authentication and authorization1.3 身份验证机制失效的原因1.4 身份验证机制失效的影响 2. 基于登录功能的漏洞2.1 密码爆破2.2 用户名枚举2.3 有缺陷的暴力破解防护2.3.1 如果用户登录尝试失败次…...

【JavaEE】-- HTTP

1. HTTP是什么? HTTP(全称为"超文本传输协议")是一种应用非常广泛的应用层协议,HTTP是基于TCP协议的一种应用层协议。 应用层协议:是计算机网络协议栈中最高层的协议,它定义了运行在不同主机上…...

第一篇:Agent2Agent (A2A) 协议——协作式人工智能的黎明

AI 领域的快速发展正在催生一个新时代,智能代理(agents)不再是孤立的个体,而是能够像一个数字团队一样协作。然而,当前 AI 生态系统的碎片化阻碍了这一愿景的实现,导致了“AI 巴别塔问题”——不同代理之间…...

Java 加密常用的各种算法及其选择

在数字化时代,数据安全至关重要,Java 作为广泛应用的编程语言,提供了丰富的加密算法来保障数据的保密性、完整性和真实性。了解这些常用加密算法及其适用场景,有助于开发者在不同的业务需求中做出正确的选择。​ 一、对称加密算法…...

【Web 进阶篇】优雅的接口设计:统一响应、全局异常处理与参数校验

系列回顾: 在上一篇中,我们成功地为应用集成了数据库,并使用 Spring Data JPA 实现了基本的 CRUD API。我们的应用现在能“记忆”数据了!但是,如果你仔细审视那些 API,会发现它们还很“粗糙”:有…...

Spring Boot+Neo4j知识图谱实战:3步搭建智能关系网络!

一、引言 在数据驱动的背景下,知识图谱凭借其高效的信息组织能力,正逐步成为各行业应用的关键技术。本文聚焦 Spring Boot与Neo4j图数据库的技术结合,探讨知识图谱开发的实现细节,帮助读者掌握该技术栈在实际项目中的落地方法。 …...

css3笔记 (1) 自用

outline: none 用于移除元素获得焦点时默认的轮廓线 broder:0 用于移除边框 font-size&#xff1a;0 用于设置字体不显示 list-style: none 消除<li> 标签默认样式 margin: xx auto 版心居中 width:100% 通栏 vertical-align 作用于行内元素 / 表格单元格&#xff…...

关键领域软件测试的突围之路:如何破解安全与效率的平衡难题

在数字化浪潮席卷全球的今天&#xff0c;软件系统已成为国家关键领域的核心战斗力。不同于普通商业软件&#xff0c;这些承载着国家安全使命的软件系统面临着前所未有的质量挑战——如何在确保绝对安全的前提下&#xff0c;实现高效测试与快速迭代&#xff1f;这一命题正考验着…...

基于Java+MySQL实现(GUI)客户管理系统

客户资料管理系统的设计与实现 第一章 需求分析 1.1 需求总体介绍 本项目为了方便维护客户信息为了方便维护客户信息&#xff0c;对客户进行统一管理&#xff0c;可以把所有客户信息录入系统&#xff0c;进行维护和统计功能。可通过文件的方式保存相关录入数据&#xff0c;对…...

Web后端基础(基础知识)

BS架构&#xff1a;Browser/Server&#xff0c;浏览器/服务器架构模式。客户端只需要浏览器&#xff0c;应用程序的逻辑和数据都存储在服务端。 优点&#xff1a;维护方便缺点&#xff1a;体验一般 CS架构&#xff1a;Client/Server&#xff0c;客户端/服务器架构模式。需要单独…...