简介
在Elasticsearch中，相关性算分描述了一个文档和查询语句的匹配程度。Elasticsearch会对每个匹配查询条件的结果进行相关性分数的计算，即：_score。
算分的本质是为了排序，需要把最符合用户需求的文档排列在最前面。在Elasticsearch5.0以前，默认的相关性算分为TF-IDF。5.0及之后的版本采用的是BM25。
词频 - TF
词频，英文缩写为TF，英文全写为Term Frequency。词频用于描述检索词在一篇文档中出现的频率。即：检索词出现的次数除以文档的总字数。
衡量一条查询语句和结果文档相关性的简单方法：简单地将搜索语句中的每一个词的TF进行相加。
例如，我的苹果，即为：TF(我) + TF(的) + TF(苹果)。
停用词，英文名为Stop Word，例如我的苹果中的的在文档中可能出现很多次，但贡献的相关度却几乎没有用处，因此不应该考虑他们的词频。
逆文档频率 - IDF
相对于逆文档频率，我们先来说说文档频率。
文档频率，英文缩写为DF，英文全写为Document Frequency，用于检索词在所有文档中出现的频率。
-
苹果在相对较少的文档中出现 -
我在相对较多的文档中出现 -
的在大量的文档中出现
逆文档频率，英文全写为：Inverse Document Frequency。简单说也就是：
log(全部文档数 / 检索词出现过的文档总数)。
TF-IDF
TF-IDF的本质就是将TF求和变成了加权求和。
TF(我) * IDF(我) + TF(的) * IDF(的) + TF(苹果) * IDF(苹果)。
| 出现的文档数 | 总文档数 | IDF | |
|---|---|---|---|
| 我 | 5亿 | 10亿 | log(2) = 1 |
| 的 | 10亿 | 10亿 | log(1) = 0 |
| 苹果 | 200万 | 10亿 | log(500) = 8.96 |
TF-IDF的概念
- 被公认为信息检索领域最重要的发明
- 除了在信息检索领域，在文献分类和其他相关领域都有着非常广泛的应用
- 关于其历史及精确定义，参考维基百科的TF-IDF
- 现代搜索引擎，对TF-IDF进行了大量细微的优化
Lucene的TF-IDF相关性算分公式
TF-IDF
BM25
- 从Elasticsearch5.0开始，默认算法由TF-IDF改为BM25
- 和经典的TF-IDF相比，当TF无限增加时，BM25计算的相关性分数会趋于一个固定数值。
BM25
Explain API
在查询语句时，我们可通过explain查看TF-IDF。
# 创建索引
PUT testscore
{
"settings": {
"number_of_shards": 1
},
"mappings": {
"properties": {
"content": {
"type": "text"
}
}
}
}
# 写入数据
PUT testscore/_bulk
{ "index": { "_id": 1 }}
{ "content":"we use Elasticsearch to power the search" }
{ "index": { "_id": 2 }}
{ "content":"we like elasticsearch" }
{ "index": { "_id": 3 }}
{ "content":"The scoring of documents is caculated by the scoring formula" }
{ "index": { "_id": 4 }}
{ "content":"you know, for search" }
# 查询语句。
# 查询的时间，我们发现id为2的文档却排列在第一位。
# 原因在于，相对于id为1的文档，id为2的文档单词数更少。
POST /testscore/_search
{
"explain": true,
"query": {
"match": {
//"content":"you"
"content": "elasticsearch"
//"content":"the"
//"content": "the elasticsearch"
}
}
}
Boosting
Boosting是一种控制相关性分数的手段，可作用于索引、字段或查询子条件。
- 当boost > 1时，算分的相关度相关性会增加
- 当0 < boost < 1时，算分的相关度相对性会降低
- 当boost < 0时，贡献负分
POST testscore/_search
{
"query": {
"boosting" : {
"positive" : {
"term" : {
"content" : "elasticsearch"
}
},
"negative" : {
"term" : {
"content" : "like"
}
},
"negative_boost" : 0.2
}
}
}
总结
- 什么是相关性，相关性分数计算的简单介绍，主要为：TF-IDF / BM25
- 如何在Elasticsearch中定制相关度算法的参数
- Elasticsearch可以对索引、字段和查询语句设置boosting参数
