Okapi BM25

Okapi BM25 est une méthode de pondération utilisée en recherche d'information. Elle est une application du modèle probabiliste de pertinence, proposé en 1976 par Robertson et Jones.

La méthode est plus simplement dénommée BM25, le terme « Okapi » faisant référence au nom du système de recherche de l'université de Londres où il a été implémenté initialement.

Fonction d'ordonnancement

BM25 est un modèle de sac de mots qui ordonne les documents en fonction de la fréquence des termes qui apparaissent dans chaque document, indépendamment des relations pouvant exister entre ces termes ou de leurs proximités relatives au sein du document. Il existe toute une famille de fonctions attribuant un score à chaque document pour une requête donnée. L'une des formes les plus connues de cette famille de fonctions est la suivante. Pour une requête Q, contenant les mots $q_{1},...,q_{n}$, le score BM25 d'un document D est:

${\text{score}}(D,Q)=\sum _{i=1}^{n}{\text{IDF}}(q_{i})\cdot {\frac {f(q_{i},D)\cdot (k_{1}+1)}{f(q_{i},D)+k_{1}\cdot \left(1-b+b\cdot {\frac {|D|}{\text{avgdl}}}\right)}},$

où $f(q_{i},D)$ est la fréquence du terme $q_{i}$ dans le document D, $|D|$ est la longueur du document D en nombre de mots, et avgdl est la longueur moyenne des documents dans la collection considérée. $k_{1}$ et b sont des paramètres libres pouvant être optimisés selon les cas d'usage mais qui, en l'absence de toute optimisation sont usuellement fixés à $k_{1}\in [1.2,2.0]$ et $b=0.75$. ${\text{IDF}}(q_{i})$ est la fréquence inverse de document pondérant le terme $q_{i}$ de la requête. En général, cela est calculé par:

${\text{IDF}}(q_{i})=\log \left({\frac {N-n(q_{i})+0.5}{n(q_{i})+0.5}}+1\right)$

où N est le nombre de documents dans la collection et $n(q_{i})$ est le nombre de documents contenant $q_{i}$.

Voir aussi

• TF-IDF
• Modèle probabiliste