当前位置： 首页 > news >正文

推荐系统[九]项目技术细节讲解z2：搜索Query理解[Term Weight、Query 改写、同义词扩写]和语义召回技术

news 文章来源：https://blog.csdn.net/sinat_39620217/article/details/129404731 2025/4/21 9:25:40

搜索Query理解和语义召回技术

在这里插入图片描述
随着用户规模和产品的发展， 搜索面临着越来越大的 query 长尾化挑战，query 理解是提升搜索召回质量的关键。本次将介绍搜索在 query term weighting，同义词扩展，query 改写，以及语义召回等方向上的实践方法和落地情况。

1.面临问题：长尾 query

在这里插入图片描述
长尾 query 的多样性对于搜索系统来说是一个很大的挑战，原因有：

  1. 存在输入错误。例如上图中的错误 query “塞尔维雅” ( 塞尔维亚 )，对于这种错误我们希望系统能够自动的纠错；

  2. 存在表达冗余。例如输入 “孙子兵法智慧的现代意义”，在这个语境下，“智慧” 是一个无关紧要的词。如果强制去匹配 “智慧” 的话，反而匹配不出真正想要的结果；

  3. 存在语义鸿沟。比如 “高跟鞋消音”，其中 “消音” 这个词的表达较少见，使得同时包含 “高跟鞋” 和 “消音” 文档较少。而类似的表达如 “高跟鞋声音大如何消除”、“高跟鞋消声” 等可能较多。用户输入的 query 和用户生产内容之间存在了语义鸿沟。其他类型的难点还有表达不完整，意图不明等等。

我们先通过图

相关文章：

推荐系统[九]项目技术细节讲解z2：搜索Query理解[Term Weight、Query 改写、同义词扩写]和语义召回技术

搜索Query理解和语义召回技术 随着用户规模和产品的发展， 搜索面临着越来越大的 query 长尾化挑战，query 理解是提升搜索召回质量的关键。本次将介绍搜索在 query term weighting，同义词扩展，query 改写，以及语义召回等方向上的实践方法和落地情况。 1.面临问题：长尾 qu…...

编程日记 2023/4/21 0:31:40

【项目精选】基于SSH的医院在线挂号系统（视频+论文+源码）

点击下载源码 医院挂号系统主要用于实现医院的挂号，前台基本功能包括：用户注册、用户登录、医院查询、挂号、取消挂号、修改个人信息、退出等。 后台基本功能包括：系统管理员登录、医院管理、科室管理、公告管理、退出系统等。 本系统结构如…...

编程日记 2023/4/21 0:31:26

Pandas库：从入门到应用(一)

一、Pandas简介 pandas是 Python 的核⼼数据分析⽀持库，提供了快速、灵活、明确的数据结构，旨在简单、直观地处理关系型、标记型数据。pandas是Python进⾏数据分析的必备⾼级⼯具。 pandas的主要数据结构是 **Series(**⼀维数据)与 DataFrame (⼆维数据…...

编程日记 2023/4/21 0:31:18

MySQL中concat()、concat_ws()、group_concat()函数使用

在平时工作中，经常记不清或者记混他们的用法，正好有时间就记录一下～concat()函数语法：concat(str1, str2, int1...)例如执行sql:SELECT CONCAT(id,USERNAME,USER_PHONE) FROM tb_user输出查询结果为： 1test15216756754…...

编程日记 2023/4/21 0:31:08

【JavaEE初阶】第四节.文件操作 和 IO （上篇）

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录 前言一、文件 1.1 文件的概念 1.2 文件的路径二、 Java中文件系统操作 2.1 File类的属性 2.2 File类的构造方法 2.3 File类的方法 …...

编程日记 2023/4/18 23:09:19

开源免费堡垒机Teleport堡垒机的安装

准备：纯净centos7系统一个作为堡垒机，若干个linux系统或windows系统服务器作为受保护的服务器 堡垒机IP：192.168.1.15 服务器IP：192.168.1.10 1、teleport安装 下载地址： https://www.tp4a.com/static/download/teleport-server-linux-x64-3.6.4-b3.tar.gz xshell上传压缩…...

编程日记 2023/4/21 0:30:56

图形报表ECharts

图形报表ECharts1 图形报表ECharts1.1 ECharts简介-富客户端图表库ECharts缩写来自Enterprise Charts，商业级数据图表，是百度的一个开源的使用JavaScript实现的数据可视化工具，可以流畅的运行在PC和移动设备上，兼容当前绝大部分浏…...

编程日记 2023/4/18 23:09:15

便捷式储能电源核心技术--单相逆变器设计

便捷式储能电源核心技术–单相逆变器设计 1.逆变器的规格参数 输入电压直流400V输出电压交流rms220V开关频率10kHz滤波电容6.23uF控制方式单极性倍频2.视频学习链接 视频学习链接 3.主电路仿真设计...

编程日记 2023/4/21 0:30:46

Gamma矫正

Gamma 曲线Gamma校正被使用在8位RGB图中。用来解决在有限的存储空间中保存尽可能多的人类感受敏感的色彩内容。Gamma 矫正Gamma校正的方式就是采样时,和输出到显示器给人类看时,对亮度进行的调整.如采样时 Gamma1/2.2 调亮Gamma，如显示时 Gamma2.2 调暗Gamma实际亮度…...

编程日记 2023/4/25 0:54:27

速懂cookie，session，token

文章目录cookiesessiontoken区别cookie 是浏览器提供的一种能力，可以在每次发起请求前，带上cookie里面的内容（一些key，value值） 分类： 会话级cookie：默认情况，就是会话级cookie&…...

编程日记 2023/4/25 0:54:25

javaEE初阶 — HTML 中的常见标签

文章目录注释标签标题标签：h1 h6段落标签：p换行标签：br格式化标签图片标签：img1. img 的 alt 属性2. img 的 title 属性3. width 与 heigth 属性用来描述图的尺寸超链接标签：a表格标签列表标签表单标签1. from 标签2. …...

编程日记 2023/4/25 0:54:22

MySQL慢查询

2 慢查询 2.1 慢查询介绍 MySQL的慢查询日志是MySQL提供的一种日志记录，它用来记录在MySQL中响应时间超过阀值的语句，具体指运行时间超过long_query_time值的SQL，则会被记录到慢查询日志中。具体指运行时间超过long_query_time值的SQL&…...

编程日记 2023/4/24 20:33:42

tensorflow【import transformers 报错】

目录 一、安装 安装好了tensorflow,但是import时候报错： import transformers 报错 一、安装 （1）创建环境： conda create -n [name] python3.3-3.7 （2）激活环境： conda activate [name] …...

编程日记 2023/4/24 20:33:40

JMU软件20 计算机网络复习

文章目录题型单位换算第一章协议与划分层次、网络协议的三个组成要素，分层的思想等协议网络协议的三个组成要素分层的思想⭐计算机网络体系结构OSI 的七层协议TCP/IP 的四层协议五层协议发送时延、传播时延、总时延、往返时间RTT计算第二章 物理层传输媒体导向性传输…...

编程日记 2023/4/24 20:33:37

Java基础之《dubbo（1）—dubbo基础入门》

一、为什么要使用dubbo 1、dubbo是什么 dubbo是一个分布式服务框架，致力于提供高性能和透明化的RPC远程服务调用方案，以及SOA服务治理方案。 2、dubbo有何特点 （1）远程通讯：提供透明化的远程方法调用，提供…...

编程日记 2023/4/24 20:33:35

HTML注入的一种攻击思路（超链接替换为点击验证，现在常见）

目录 背景 利用方法 举一反三 场景1：截获 TOKEN 场景2：截获后台信息 总结...

编程日记 2023/4/24 20:33:33

Redis-6集群

文章目录前言Redis集群原理搭建Redis集群集群拓展后记前言 前两期介绍和搭建了Redis的主从复制架构和哨兵模式，虽然哨兵模式能够实现自动故障转移主备切换，一定程度上提高了系统的容错性 但这两种架构模式都不能解决单节点的并发压力和物理上线的问题&…...

编程日记 2023/4/17 12:58:50

Spring Cloud学习笔记：基础知识

这是本人学习的总结，主要学习资料如下 马士兵教育 目录1、Spring Cloud 简介2、Eureka3、建立Spring Cloud项目3.1、启动Server3.1.1、dependency3.1.2、配置文件3.1.3、Server端启动代码3.2、启动Client3.2.1、dependency3.2.2、配置文件3.3.3、Client端启动代码3…...

编程日记 2023/4/17 14:07:34

农产品销售系统/商城，可运行

文章目录项目介绍一、项目功能介绍1、用户模块主要功能包括：2、商家模块主要功能包括：3、管理员模块主要功能包括：二、部分页面展示1、用户模块部分功能页面展示2、商家模块部分功能页面展示3、管理员模块部分功能页面展示三、部分源码四、底…...

编程日记 2023/4/24 20:33:31

【Java开发】JUC进阶 05：函数式接口、ForkJoin

1 四大函数式接口函数式接口：只有一个抽象方法的接口，只要是函数式接口，就可以用lambda表达式简化例如Runnable：FunctionalInterface public interface Runnable {public abstract void run(); }框架底层大量应用函数式接口&#…...

编程日记 2023/4/24 20:33:29

Nginx支持quic协议

第一种方式：Nginx官方nginx-quic搭建 通过部署Nginx官方的QUIC分支来实现的浏览器和nginx-quic服务器粗略的HTTP3通信。 1、下载BoringSSL BoringSSL 是由谷歌开发,从 OpenSSL 中分离的一个分支。BoringSSL 是 Chrome/Chromium、Android（但它不是 NDK 的…...

编程日记 2023/4/24 20:33:27

笔记 - Java 内存结构与模型

-- Java里内存结构与内存模型是两种概念 一、Java内存结构： HeapMemory - 堆内存Java Stacks - 栈内存 （运行时）Method Area - 方法区Native Method Stack - 本地方法栈 真实和系统打交道的地方Jit Compiler - 将java运行指令编译成机器指令G…...

编程日记 2023/4/21 5:06:25

C#基础教程12 数组

文章目录 C# 数组（Array）C# 中的数组声明数组初始化数组赋值给数组访问数组元素C# 数组细节C# 数组（Array） 数组是一个存储相同类型元素的固定大小的顺序集合。数组是用来存储数据的集合，通常认为数组是一个同一类型变量的集合。 声明数组变量并不是声明 number0、number1…...

编程日记 2023/4/24 20:33:25

Android中级——屏幕和绘图

屏幕和绘图屏幕系统屏幕密度独立像素密度dp单位转换XML绘图（需放在Drawable）BitmapShapeLayerSelector绘图技巧CanvasLayerPorterDuffXfermodeShaderPathEffectSurfaceView屏幕 屏幕大小：指屏幕对角线长度，单位为寸分辨率&#x…...

编程日记 2023/4/22 7:42:31

Linux - 第6节 - 动态库和静态库

1.静态库与动态库概念 静态库（.a）：程序在编译链接的时候把库的代码拷贝到可执行文件中。程序运行的时候将不再需要静态库。动态库（.so）：程序在运行的时候才去链接动态库的代码，多个程序共享使用…...

编程日记 2023/4/24 6:44:11

【Java学习笔记】12.Character 类及String 类

前言 本章介绍Java的Character 类和String 类。 Java Character 类 Character 类用于对单个字符进行操作。 Character 类在对象中包装一个基本类型 char 的值 实例 char ch a;// Unicode 字符表示形式 char uniChar \u039A; // 字符数组 char[] charArray { a, b, c, d…...

编程日记 2023/4/24 6:44:09

【C++修炼之路】26.C++11（语法糖）

每一个不曾起舞的日子都是对生命的辜负 C11C11(语法糖)本节目标一.C11简介二.统一的列表初始化2.1 {}初始化2.2 std::initializer_list三.声明3.1 auto3.2 decltype3.3 nullptr四.总结C11(语法糖) 本节目标 C11简介 列表初始化 变量类型推导 一.C11简介 在2003年C标准委员…...

编程日记 2023/4/24 6:44:06

KD610精密油介损体积电阻率测试仪

一、概述 KD610精密油介损体积电阻率测试仪是用于绝缘油等液体绝缘介质的介质损耗角及体积电阻率的高精密仪器。 二、产品特点 1．仪器内部采用数字技术，具备多种模式测式。 2．智能自动化测量。 3．配备了大屏幕（2401…...

编程日记 2023/4/24 6:44:04

快速了解原码、反码、补码和位运算

我们知道计算机使用的是二进制，我们⽤⼀个字节，也就是8个bit 来表示⼆进制数。 原码 十进制 原码20000 0010-21000 0010 原码其实是最容易理解的，只不过需要利⽤⼆进制中的第⼀位来表示符号位，0表示正数，1表示…...

编程日记 2023/4/24 6:44:03

算法的复杂度介绍

算法的复杂度介绍 算法（Algorithm）是指用来操作数据、解决程序问题的一组方法。对于同一个问题，使用不同的算法，也许最终得到的结果是一样的，但在过程中消耗的资源和时间却会有很大的区别。 为什么要进行算法分析&…...

编程日记 2023/4/24 6:44:01