ES如何提高准确率之【term-centric】

提高准确率的方法有很多，但是要在提高准确率的同时保证召回率往往比较困难，本文只介绍一种比较常见的情况。

问题场景

我们经常搜索内容，往往不止针对某个字段进行搜索，比如：标题、内容，往往都是一起搜索的。
index结构如下：

{"settings": {"number_of_shards": "1","number_of_replicas": "0"},"mappings": {"properties": {"title": {"type": "text","analyzer": "ik_smart"},"content": {"type": "text","analyzer": "ik_smart"}}}
}

样例数据如下：

{"index":{"_id":1}}
{"title":"我喜欢的一种水果","content":"我喜欢的苹果是红色的，含有铜、碘、锰、锌、钾等元素"}
{"index":{"_id":2}}
{"title":"红色的番茄","content":"番茄是一种红色的水果，含有各种维生素以及糖分"}
{"index":{"_id":3}}
{"title":"樱桃的介绍","content":"樱桃是红色的，含有丰富的糖分、铁、维生素C、蛋白质、维生素E、维生素B族和胡萝卜素"}
{"index":{"_id":4}}
{"title":"不知名介绍","content":"我爱吃红色，红色，红色，红色，红色，红色，红色，红色，红色，红色，红色，红色，红色，红色，红色，红色的水果"}

现在我要搜索【红色的苹果】，我们人眼看下来，id=1的文档肯定是最佳匹配的。但我们真实搜索结果会怎么样呢？
搜索语句假设如下：

{"query": {"bool": {"should": [{"match": {"title": "红色的苹果"}},{"match": {"content": "红色的苹果"}}]}}
}

上面搜索语句dsl语句看着略微复杂，我们换个写法，效果一样

{"query": {"multi_match": {"query": "红色的苹果","type": "most_fields","fields": ["title","content"]}}
}

结果：

[{"_index":"dong_analyzer_test2","_type":"_doc","_id":"2","_score":1.9675379,"_source":{"title":"红色的番茄","content":"番茄是一种红色的水果，含有各种维生素以及糖分"}},{"_index":"dong_analyzer_test2","_type":"_doc","_id":"1","_score":1.9362588,"_source":{"title":"我喜欢的一种水果","content":"我喜欢的苹果是红色的，含有铜、碘、锰、锌、钾等元素"}},{"_index":"dong_analyzer_test2","_type":"_doc","_id":"3","_score":0.63812846,"_source":{"title":"樱桃的介绍","content":"樱桃是红色的，含有丰富的糖分、铁、维生素C、蛋白质、维生素E、维生素B族和胡萝卜素"}},{"_index":"dong_analyzer_test2","_type":"_doc","_id":"4","_score":0.2719918,"_source":{"title":"不知名介绍","content":"我爱吃红色，红色，红色，红色，红色，红色，红色，红色，红色，红色，红色，红色，红色，红色，红色，红色的水果"}}
]

很明显和我们人眼评分肯定是不一样的

思考

问题1：为什么id=2的番茄评分最高？

我们先看下切词

{"tokens": [{"token": "红色","start_offset": 0,"end_offset": 2,"type": "CN_WORD","position": 0},{"token": "的","start_offset": 2,"end_offset": 3,"type": "CN_CHAR","position": 1},{"token": "苹果","start_offset": 3,"end_offset": 5,"type": "CN_WORD","position": 2}]
}

因为番茄中title中有【红色】【的】，content中有【红色】【的】，title和content同时都命中了，所以匹配到了它。

问题2：id=1的content中不仅有【苹果】还有【红色】【的】为什么评分比id=2的番茄低？

因为id=1的title种没有【红色】【的】，尽管id=1的content的匹配度 大于 id=2的content，但是title匹配度不及id=2

问题3：凭什么title分低一点，content分高一点不能把整体评分拉齐？

一般来说title分低，只要content分高，照样总分可以超过其他文档。那这个样例的问题出在哪了呢？

我们再看下样例：

{"title":"我喜欢的一种水果","content":"我喜欢的苹果是红色的，含有铜、碘、锰、锌、钾等元素"}
{"title":"红色的番茄","content":"番茄是一种红色的水果，含有各种维生素以及糖分"}
{"title":"樱桃的介绍","content":"樱桃是红色的，含有丰富的糖分、铁、维生素C、蛋白质、维生素E、维生素B族和胡萝卜素"}
{"title":"不知名介绍","content":"我爱吃红色，红色，红色，红色，红色，红色，红色，红色，红色，红色，红色，红色，红色，红色，红色，红色的水果"}

我们发现content中【红色】这个词出现频率非常高。
我们可以想到es的搜索算法中有一个逆向文档频率，它描述的是某个词在所有文档中出现的频率越高，它的权重越低。
回到问题2，content分高一点不能把整体评分拉齐？答案是可以的，但是问题出在了content的分虽然高，但是高的不多，比起title差的远，上面样例中title出现【红色】只有一个而已。

解决方案

方案1 - 调整权重（不建议）

能不能给title权重降低一点？这样就能弥补【红色】权重低的问题了。

• 针对这个样例来说，这样做是可以的。但这仅仅是个样例，现实中我们不能这样去解决问题，因为上面的样例完全可以逆转，让title和content字段互换。难道又要去调整content的权重么？

方案2 - 精确匹配（略微不建议）

上面有个问题就是，id=2的文档中，根本没有【苹果】也被匹配出来了，那么我精确匹配是不是就可以了

{"query": {"multi_match": {"query": "红色的苹果","type": "most_fields","operator": "and","fields": ["title","content"]}}
}

• and代表所有词都必须匹配，当然也可以使用minimum_should_match，但本文的样例必须使用100%

查询结果：

[{"_index":"dong_analyzer_test2","_type":"_doc","_id":"1","_score":1.499949,"_source":{"title":"我喜欢的一种水果","content":"我喜欢的苹果是红色的，含有铜、碘、锰、锌、钾等元素"}}
]

确实我们最希望匹配出来的结果被匹配出来了，并且排在了第一，但是其他不是很相关的文档却没有匹配出来，这降低了召回率。所以这种方案不是特别推荐
备注：这种解决问题的思路是没有问题的，往往这种精确匹配要搭配其他查询条件一起使用，但和本文想讨论的问题不相关，放到其他文章中去介绍。

方案3 - 新建字段（还行）

上面的问题关键在哪呢？
仔细分析可以发现，我们的需求是希望搜索一个query进行多个字段（title、content）的搜索。换句话说，我们其实是希望title和content是一个字段（他们共享TF/IDF），我们并不希望因为某些词在content中出现很频繁，但在title中出现不频繁导致最终评分不符合预期。

根据上面思路，我们是不是可以建一个新字段，把title和content拼接在一起就行了？

{"settings":{"number_of_shards":"1","number_of_replicas":"0"},"mappings":{"properties":{"title":{"type":"text","analyzer":"ik_smart"},"content":{"type":"text","analyzer":"ik_smart"},"title_content":{"type":"text","analyzer":"ik_smart"}}}
}

这样做是可以的，但是有两个弊端

1. 业务系统在插入的时候，需要手动把title和content拼接在一起，然后整体写入title_content。
2. es存储空间变大，title和content的内容相当于存了双份

方案4 - 新建字段索引（不错）

怎么解决方案3的这个问题呢？
可以利用copy_to

{"settings":{"number_of_shards":"1","number_of_replicas":"0"},"mappings":{"person":{"properties":{"title":{"type":"text","analyzer":"ik_smart","copy_to":"title_content"},"content":{"type":"text","analyzer":"ik_smart","copy_to":"title_content"},"title_content":{"type":"string","analyzer":"ik_smart"}}}}
}

这样es帮我们在插入数据的时候自动把映射的索引copy到了title_content中去。
注意：这里所有的分词器要保持一致
但它同样还有弊端：

1. 在创建索引的时候就必须考虑到这种情况，不然还要刷重刷数据

方案5 - term-centric（推荐）

其实解决办法除了重新刷一遍数据以外，还有别的更加优雅的方式，可以不用在建索引的时候把所有情况考虑到位。
利用cross_fields词中心式的方式来解决

{"query": {"multi_match": {"query": "红色的苹果","type": "cross_fields","fields": ["title","content"]}}
}

搜索结果：

[{"_index":"dong_analyzer_test2","_type":"_doc","_id":"1","_score":1.499949,"_source":{"title":"我喜欢的一种水果","content":"我喜欢的苹果是红色的，含有铜、碘、锰、锌、钾等元素"}},{"_index":"dong_analyzer_test2","_type":"_doc","_id":"4","_score":0.30932084,"_source":{"title":"不知名介绍","content":"我爱吃红色，红色，红色，红色，红色，红色，红色，红色，红色，红色，红色，红色，红色，红色，红色，红色的水果"}},{"_index":"dong_analyzer_test2","_type":"_doc","_id":"2","_score":0.2428131,"_source":{"title":"红色的番茄","content":"番茄是一种红色的水果，含有各种维生素以及糖分"}},{"_index":"dong_analyzer_test2","_type":"_doc","_id":"3","_score":0.23682731,"_source":{"title":"樱桃的介绍","content":"樱桃是红色的，含有丰富的糖分、铁、维生素C、蛋白质、维生素E、维生素B族和胡萝卜素"}}
]

他的原理就是把所有字段当成一个大字段，并在每个字段中查找每个词。
看下es的对cross_fields的分析过程

blended(terms:[title:红色, content:红色]) 
blended(terms:[title:的, content:的]) 
blended(terms:[title:苹果, content:苹果])

可以发现es进行三次大搜索，每次大搜索下面有两次小搜索，每次大搜索都是把切词的结果词进行匹配，每次小搜索都是把当前的切词对title和content进行terms匹配，最后把里层和外层搜索评分相加，得到最终结果。

总结

本文探讨了多字段搜索的时候，每个字段的词频和逆向文档频率不同带来的搜索准确率问题。
问题的根本原因在于：搜索的时候大多数都是针对字段进行搜索，但本文中的情况是希望对词进行搜索。
解决思路也是很简单，就是把多个字段的词频和逆向文档频率整合到一起，当然可以在建立索引的时候整合，也可以搜索的时候进行整合查询。