BM25和TF-IDF原理及区别
后面提到过TF-IDF算法（TF-IDF算法原理及公式）与之更进一步算法BM25相关度也是处置关键词相关性中重要的算法其中。
那么 TF 和 IDF 谁更重要呢，怎样计算最终的相关性得分呢？那就是 BM25。
BM25算法，通常用来作搜索相关性平分。一句话概略其次要思想：对Query停止语素解析，生成语素qi；然后，关于每个搜索后果D，计算每个语素qi与D的相关性得分，最初，将qi绝对于D的相关性得分停止加权求和，从而失掉Query与D的相关性得分。
本文整理了多篇有关BM25相关度算法原理构成本文供各位SEOer阅读，内容比拟深度也十分的装逼，反正无忧是看不懂。有兴味的站长可以检查研讨一下。
BM25算法
BM25算法原理及完成
原理
BM25算法，通常用来作搜索相关性平分。一句话概略其次要思想：对Query停止语素解析，生成语素qi；然后，关于每个搜索后果D，计算每个语素qi与D的相关性得分，最初，将qi绝对于D的相关性得分停止加权求和，从而失掉Query与D的相关性得分。
BM25算法的一般性公式如下：
SEO技术：文本类似度-bm25算法原理及完成
其中，Q表示Query，qi表示Q解析之后的一个语素（对中文而言，我们可以把对Query的分词作为语素剖析，每个词看成语素qi。）；d表示一个搜索后果文档；Wi表示语素qi的权重；R(qi，d)表示语素qi与文档d的相关性得分。
上面我们来看如何定义Wi。判别一个词与一个文档的相关性的权重，办法有多种，较常用的是IDF。这里以IDF为例，公式如下：
SEO技术：文本类似度-bm25算法原理及完成
SEO技术：文本类似度-bm25算法原理及完成其中，N为索引中的全部文档数，n(qi)为包括了qi的文档数。
依据IDF的定义可以看出，关于给定的文档集合，包括了qi的文档数越多，qi的权重则越低。也就是说，当很多文档都包括了qi时，qi的区分度就不高，因而运用qi来判别相关性时的重要度就较低。
我们再来看语素qi与文档d的相关性得分R（qi，d）。首先来看BM25中相关性得分的普通方式：
SEO技术：文本类似度-bm25算法原理及完成
其中，k1，k2，b为调理因子，通常依据经历设置，普通k1=2，b=0.75；fi为qi在d中的呈现频率，qfi为qi在Query中的呈现频率。dl为文档d的长度，avgdl为一切文档的均匀长度。由于绝大部分状况下，qi在Query中只会呈现一次，即qfi=1，因而公式可以简化为：
SEO技术：文本类似度-bm25算法原理及完成
SEO技术：文本类似度-bm25算法原理及完成
从K的定义中可以看到，参数b的作用是调整文档长度对相关性影响的大小。b越大，文档长度的对相关性得分的影响越大，反之越小。而文档的绝对长度越长，K值将越大，则相关性得分会越小。这可以了解为，当文档较长时，包括qi的时机越大，因而，同等fi的状况下，长文档与qi的相关性应该比短文档与qi的相关性弱。
综上，BM25算法的相关性得分公式可总结为：
SEO技术：文本类似度-bm25算法原理及完成SEO技术：文本类似度-bm25算法原理及完成
从BM25的公式可以看到，经过运用不同的语素分析方法、语素权重断定办法，以及语素与文档的相关性断定办法，我们可以衍生出不同的搜索相关性得分计算方法，这就为我们设计算法提供了较大的灵活性。
BM25相关度打分公式
BM25算法是一种罕见用来做相关度打分的公式，思绪比较简单，次要就是计算一个query外面一切词和文档的相关度，然后在把分数做累加操作,而每个词的相关度分数次要还是遭到tf/idf的影响。公式如下：
SEO技术：文本类似度-bm25算法原理及完成
R(qi,d)是每个词和文档的相关度值，其中qi代表每个词，d代表相关的文档，Wi是这个词的权重，然后一切词的乘积再做累加。
自然语言处置-BM25相关度打分
BM25（Best Match25）是在信息检索零碎中依据提出的query对document停止评分的算法。It is based on the probabilistic retrieval framework developed in the 1970s and 1980s by Stephen E. Robertson, Karen Spärck Jones, and others.BM25算法首先由OKapi零碎完成，所以又称为OKapi BM25。
BM25属于bag-of-words模型，bag-of-words模型只思索document中词频，不思索句子构造或许语法关系之类，把document当做装words的袋子，详细袋子外面可以是杂乱无章的。It is not a single function, but actually a whole family of scoring functions, with slightly different components and parameters. One of the most prominent instantiations of the function is as follows.
BM25相关度打分
相关性
对每一个搜索查询，我们很容易给每个文档定义一个“相关分数”。当用户停止搜索时，我们可以运用相关分数停止排序而不是运用文档呈现工夫来停止排序。这样，最相关的文档将排在第一个，无论它是多久之前创立的（当然，有的时分和文档的创立工夫也是有关的）。
有很多很多种计算文字之间相关性的办法，但是我们要从最复杂的、基于统计的办法说起。这种办法不需求了解言语自身，而是经过统计词语的运用、婚配和基于文档中特有词的普及率的权重等状况来决议“相关分数”。
这个算法不关怀词语是名词还是动词，也不关怀词语的意义。它独一关怀的是哪些是常用词，那些是稀有词。假如一个搜索语句中包括常用词和稀有词，你最好让包括稀有词的文档的评分高一些，同时降低常用词的权重。
这个算法被称为 Okapi BM25。它包括两个基本概念 词语频率(term frequency) 简称词频(“TF”) 和 文档频率倒数(inverse document frequency) 简写为(“IDF”). 把它们放到一同，被称为 “TF-IDF”，这是一种统计学测度，用来表示一个词语 (term) 在文档中有多重要。
TF-IDF
词语频率( Term Frequency), 简称 “TF”, 是一个很复杂的度量规范：一个特定的词语在文档呈现的次数。你可以把这个值除以该文档中词语的总数，失掉一个分数。例如文档中有 100 个词， ‘the’ 这个词呈现了 8 次，那么 ‘the’ 的 TF 为 8 或 8/100 或 8%（取决于你想怎样表示它）。
逆向文件频率（Inverse Document Frequency）, 简称 “IDF”，要复杂一些：一个词越稀有，这个值越高。它由总文件数目除以包括该词语之文件的数目，再将失掉的商取对数失掉。越是稀有的词，越会发生高的 “IDF”。
假如你将这两个数字乘到一同 (TF*IDF), 你将会失掉一个词语在文档中的权重。“权重”的定义是：这个词有多稀有并且在文档中呈现的多么频繁？
你可以将这个概念用于文档的搜索查询。在查询中的关于查询中的每个关键字，计算他们的 TF-IDF 分数，并把它们相加。得分最高的就是与查询语句最契合的文档。
