Discussion utilisateur:Jean-Luc W/CompteVisites

Modèle de détermination du nombre d'articles satisfaisants

Une approche quantitative intéresse plusieurs contributeurs, comme Alter005, Benjamin Pineau, Aliesin, Ambigraphe, Serein ou Apollon.

Une telle approche permet de répondre à plusieurs questions. Que faire pour améliorer certains articles ? Où se dirige WP ? etc... A ces différentes questions, se greffent des approches différentes. Aliesin propose une modélisation qui ressemble un peu au modèle logistique, Benjamin remarque que le terrain n'est pas vierge et que des études existent sur la question. Serein pose des questions plus qualitatives, Apollon privilégie une analyse sur les contributeurs et est suivi en cela par Ambigraphe.

De nombreuses pistes différentes sont suggérées pour répondre à la question d'une évaluation pertinente d'un article et à son évolution au court du temps. L'objectif de cette page est le rassemblement des différentes idées pour tenter d'aller un peu plus loin.

Aliesin

Aliesin considère un modèle subissant essentiellement deux lois. Un première explicite le nombre d'articles devenant satisfaisant par mois, il est supposé posséder une dérivée constante, l'accroissement est un paramètre fixé initialement à 40 par mois. La deuxième loi décrit l'érosion des articles, elle est régit par une loi géométrique, de nature différente de l'accroissement. Une telle loi ressemble à celle décrivant l'espérance de vie d'une particule. Le deuxième paramètre est la probabilité de dégradation sur un mois d'un article satisfaisant, fixé à 1/180. Aliesin fait alors, à mon avis une petite erreur de logique. Son modèle signifie qu'en 10 ans un article à une chance sur 2 d'être dégradé et en 15 ans une chance sur 2,7.

Il calcule alors l'asymptote et en déduis une stabilisation aux alentours de 7.000 articles.

Détails du modèle

Je me permets d'argumenter un peu ici sur une réflexion courante que j'ai déjà critiquée. Il s'agit de l'idée suivante :

«	Quel que soit le rythme d'amélioration de Wikipédia, quel que soit le niveau à atteindre, il le sera de toute façon à plus ou moins long terme.	»

Cette remarque repose sur l'amélioration constante, mais elle néglige l'entretien. Je m'explique, pour les articles les plus importants, la tendance de long terme est toujours à la dégradation, ou pour le dire de façon plus nuancée à l'érosion. Cela est lié aux faits suivants :

• Le modèle de Wikipédia permet à quiconque de modifier un article arrivé à un niveau satisfaisant, avec des sources trouvées sur internet et une bonne foi évidente.
• Les auteurs finissent par quitter Wikipédia, la "défense" de leur article s'en trouve un jour ou l'autre assouplie.
• Le nombre de Wikipédiens actifs et compétent est globalement stagnant, donc en supposant que le nombre d'articles satisfaisant augmente, leur capacité à les surveiller tous diminue.

Premier modèle pifométrique : chaque article voit sa qualité soumise à une espérance de vie

L'idée centrale est qu'un article devient satisfaisant du jour au lendemain (sur une période de quelques mois) sous l'impulsion d'un wikipédien. Ensuite, un autre wikipédien lui retire son caractère satisfaisant sur la base d'un ajout peu pertinent (ou d'un long processus de petits ajouts) qui n'est pas annulé par la communauté car il ne s'agit pas d'un vandalisme.

• k est la constante égale au nombre mensuel d'articles satisfaisant produit par mois.
• e l'espérance de vie du caractère satisfaisant, en mois.
• X(m) le nombre d'articles satisfaisant au mois m.

Le temps d'attente de la dégradation suit une loi géométrique de paramètre 1/e. Chaque mois, un article satisfaisant a une probabilité 1/e de devenir insatisfaisant.

En somme, on a :

E(X(m+1))=E(X(m))+k-(1/e)*E[X(m)]

Donc la variation mensuelle vaut : E[X(m+1)]-E[E(Xm)]=k-(1/e)*E(X(m)).

Et donc la progression s'arrête dès lors que k-(1/e)*E(X(m))=0 C'est-à-dire E(X(m))=k*e.

Par exemple :

• Si la production mensuelle d'articles satisfaisants stagne à 40 ;
• Si l'espérance de vie du caractère satisfaisant d'un article est de 15 ans, c'est-à-dire 180 mois (chaque mois, un article a une chance sur 180 de perdre sa qualité) ;
• Alors Wikipédia a une espérance à horizon infini de 40*180=7200 articles satisfaisants.

 

Critiques du modèle

• Qu'est ce qu'un article satisfaisant ? Selon les interrogations du lecteur, l'article est susceptible d'être considéré comme satisfaisant par un visiteur et non satisfaisant par un autre.

• Comment mesurer l'érosion ? De manière plus générale, comment étalonner le modèle ?

• WP apparaît comme hétérogène, le secteur mathématique suit des lois qui lui sont probablement propres. N'en est-il pas de même avec des articles généralistes comme Paris, Tolérance, Culture, les articles économiques ou encore ceux sur les jeux vidéo ?

• Le modèle fait apparaître des constantes de temps supérieures à 10 ans. Est-il raisonnable de projeter une loi sur une période aussi longue ?

• La conception d'article satisfaisant semble faire implicitement référence au mode de production d'articles labélisés (« L'idée centrale est qu'un article devient satisfaisant du jour au lendemain sous l'impulsion d'un wikipédien »). Si la masse de travail sur l'ensemble des articles ne cesse de s'accumuler, le travail moyen à fournir pour promouvoir un article de son état « normal » à celui de « satisfaisant » devrait aller décroissant avec le temps. Je pense à la Wikipédia en langue anglaise, qui contient déjà énormément d'article très développés mais non labelisés.

• La notion d'article satisfaisant est bien entendu toute relative, et elle-même varie avec le temps (ne serait-ce qu'à considérer l'évolution des critères et votes AdQ). Plus les attentes s'intensifieront, plus les exigences seront rigoureuses. Ça explique peut-être la faible croissance du nombre d'articles labélisés (et donc l'idée d'un taux constant de 40 articles / mois dans le modèle).

Benjamin Pineau

Nous ne sommes pas les premiers à s'interroger sur cette question. Google a développé des outils comme Google Trends ou Google Rank. De plus, des analyses sur cette questions, comme le projet Autograph ou encore Wikipedia in academic studies sont disponibles. Pourquoi ne pas utiliser les outils et analyses existantes ?

Apollon

Au lieu de prendre comme premier objet d'analyse l'article, il est possible de choisir pour pierre angulaire du modèle la contribution. La logique repose ici encore sur deux paramètres clé. Le premier indique le travail nécessaire pour le maintien de l'encyclopédie, le deuxième la force contributrice de la communauté. La force contributrice soustraite au travail d'entretien correspond à l'amélioration.

Ce modèle suppose que les contributeurs réalisent toujours en priorité l'entretien. Le modèle est ensuite affiné pour tenir compte d'un monde où l'entretien n'est pas nécessairement la priorité. Il suppose alors le calcul de trois paramètres de calage.

Détails du modèle

Approche par les modifications

C'est ce que je proposais dans mon premier modèle. Je n'avais pas pour objectif de proposer quelque chose d'utilisable ni même de précis. Juste de démontrer que l'amélioration n'était pas une fatalité.

L'utilisation du modèle que je propose n'est pas possible pour plusieurs raisons :

• Le compte des dégradations n'est pas faisable, d'autant qu'il faudrait attribuer à chacune d'elle un coefficient, ce qui est impossible vu que la mesure d'une dégradation est totalement subjective;
• On ne peut les mesurer sans intervenir directement ou indirectement sur le sujet étudié;
• Enfin il faudrait une étude de plusieurs période pour définir les changements de rythme.

Alternative : approche par les ressources

Modèle utilisable

Un modèle qui me semble réalisable s'appuie plutôt sur les ressources (le nombre de contributeurs et leur production moyenne). Voilà une ébauche de ce que je propose :

Hypothèse 1 : Pas de dégradation. Le temps nécessaire a l'entretien lui est consacré, le reste est consacré à l'amélioration.

Hypothèse équivalente : le temps consacré à la création est aussi productif en terme de valeur que celui consacré à l'entretien

Une série de terme général (Ut) qui modélise la capitalisation de l'encyclopédie, où Ut représente l'apport positif ou négatif à l'encyclopédie sur une période t.

Concrètement, si on définit Lt le volume de travail disponible durant la période t, il doit se répartir :

• En entretien de l'encyclopédie dans une proportion Xt;
• En création de nouvelle valeur, dans une proportion (1-Xt).

On utilise comme mesure de la valeur de l'encyclopédie le cumul du travail consacré à la création.

On obtient les formules suivantes :

• $\sum _{t=0}^{n}(1-Xt)L_{t}$ (1) pour la valeur au moment n;

et

• $\sum _{t=0}^{\infty }(1-Xt)L_{t}$ (2) pour le potentiel en cas de convergence.

Déjà cette série me semble plus facilement étudiable empiriquement : il suffit mesurer la masse de travail et sa répartition.

On peut complexifier un peu le modèle en changeant d'hypothèse.

Meilleurs modèle, mais non utilisable

Hypothèse 2 : la dégradation existe. Les contributeurs choisissent le temps consacré à l'entretien et à la création. Autrement dit, il est possible que des articles s'améliorent tandis que d'autres se dégradent.

Hypothèse 2 bis : l'entretien est plus productif. Le travail nécessaire à une amélioration compensant en terme de valeur une dégradation est plus important que le travail nécessaire empêchant la dégradation. Autrement dit, il est plus facile de conserver que de construire.

• k est le coefficient représentant cette différence de productivité ([productivité entretien]/[productivité création]).
• Yt le temps consacré à l'entretien, inférieur ou égal à Xt le temps nécessaire.

On obtient :

• $\sum _{t=0}^{\infty }(1-Yt)L_{t}-k(Xt-Yt)L_{t}$ (3)

Ce qui est inférieur à la formule (2). A mon avis cette méthode est plus proche de la réalité, mais calculer k et Xt me semble impossible.

Le problème est que si la série définit en (2) est divergente, on ne peut en déduire que (3) est aussi divergente. On ne peut donc conclure au potentiel infini de Wikipédia.

En revanche, si (2) est convergente, alors (3) est aussi convergente, et le potentiel de wikipédia à une limite finie.

Pistes pour le modèle utilisable

• Pour prédire Xt :
  • Faire une régression multiple sur :
  • a et a² la taille de l'encyclopédie
  • b l'ancienneté des contributeurs
  • c l'audience de wikipédia
  • d les interventions d'IP

• Lt : une régression sur le temps ?

 

Critiques du modèle

• Les critiques de l'approche d'Aliesin s'appliquent aussi à un modèle par contribution.

• Il est possible sans ajouter une complexité ingérable pour WP d'affiner les lois décrivant la contribution. On peut par exemple utiliser le modèle suivant.

Jean-Luc W

Si la question posée comporte trop de difficulté, alors autant restreindre dans un premier temps nos prétentions. Le premier objectif devient la détermination d'une mesure pas trop stupide de la satisfaction des visiteurs. Cette mesure devrait posséder les qualités suivantes : être quantitative pour alimenter un modèle, relativement simple à mesurer pour permettre une étude statistique et prédictive. Dans un premier temps, le taux de satisfaction est une mesure statique, à une date donnée.

Ensuite, certaines lois d'évolution doivent être modélisées. Ces lois sont encore quantitatives et dépendent de critères mesurables. Le modèle est appliqué sur la période de temps février 2008 à septembre 2008 et permet d'évaluer la pertinence du modèle. Si ces prédictions s'avèrent exactes, il peut être considérer comme explicatif.

Le modèle est limité dans un premier à une petite portion de WP où le comportement est supposé relativement homogène. Son objectif est de mieux comprendre l'évolution de WP sur une période courte et détermine les types de contribution les plus utiles.

Les balbutiements du modèle se trouvent sur la page Fréquentation et mathématiques.

Critiques du modèle

• Il correspond encore essentiellement à un vœu pieux. La mesure de satisfaction proposée manque encore de pertinence. Les lois d'évolution restent un mystère.

• Il est beaucoup plus modeste que les approches génériques précédentes. Il ne couvre ni l'intégralité de WP ni de longues périodes de temps.

• Il demande beaucoup de travail. Valider une loi d'évolution suppose un traitement statistique lourd.

• Il se fonde essentiellement sur les stat WP alors que d'autres sources d'information sont disponibles.

Suggestions

Des approches différentes sont proposées. Elles ont toutes des forces et des faiblesses. Des contributeurs d'horizon différents peuvent apporter des idées variées, des modélisateurs comme Ambigraphe ou moi-même peuvent construire des modèles simulant des idées qualitatives. Ensemble, l'exercice devient plus amusant.

Jean-Luc W

Pour tester l'approche par les contributions. J'aurai besoin de contributeurs m'indiquant là où ils ont contribué, l'objectif qu'ils avaient avec ce type de contributions et quels articles ils connaissent ayant l'objectif atteint et ceux ne l'ayant pas.

Le plus sympathique à mon gout sont des petits groupes d'articles sur des sujets très connexes avec des articles possédant le plus proposé, ne le possédant pas et si possible des articles qui passent d'un état à un autre dans une période allant de février 2008 à décembre 2008 (les articles qui vont évoluer sont très intéressant).

En résumé, j'ai besoin d'une idée qualitative d'amélioration d'articles, et un lot d'articles ayant l'idée un autre ne l'ayant pas et si possible certains passant d'un état à un autre. Ensuite, les modélisateurs feront joujou. Jean-Luc W (d) 11 septembre 2008 à 10:23 (CEST)

Fabienkhan

Je ne sais pas si ça pourra aider à vos réflexions, mais j'étais en train de lire ça quand j'ai repensé à vos échanges. فاب - so‘hbət - 11 septembre 2008 à 12:38 (CEST) (recopié par jl)

Bonjour, Oui cet exemple de Wikipedia studies est très intéressant.

• D'abord, parce qu'il suggère l'existence d'une abondante production d'analyses et de travaux dans le monde entier (cf. la bibliographie comprenant 12 articles traitant explicitement de WP). Les travaux que tente de collectiviser Jena-Luc sont donc loins d'être isolés.
• aussi parce qu'il montre bien que dans les dix pays étudiés, la production est très concentrée dans ue faible partie des users. Il s'agit d'un montant bien supérieur à celui des contributeurs > 100 edits que l'on trouve dans les stats. Le problème est de passer du GINI aux % cumulés d'auteurs concernés. Voilà une autre direction de recherche plus concrète donc.
• enfin parce qu'il montre qu'il y a une foule d'indicateurs de la qualité de la production de WP. Par exemple, "We also find previous research works, for example [14], [15], [16] and [17], analysing the quality of contents in Wikipedia’s articles. Wilkinson et al. further characterize in [18] the collaborative creation of contents undertaken by the Wikipedia community of users. In addition to that, [19], [20], [21] and [22] present methodologies and tools to analyse Wikipedia’s content semantics"
  "the authors analyze the quality of contributions using the percentage of aggregated contents that remain in later revisions of a certain article, much in the same way as the Aaron Swartz study cited above."
  "two main groups of contributors are responsible for most of the high quality contributions. On one side, what they identify as high quality contents come from zealots, registered users with a high interest in obtaining reputation, and with a high level of participation. On the other side, we have the good Samaritans, anonymous users sporadically contributing to the Wikipedia. The authors show that there is a strong correlation between the quality of contributed contents and the level of contributions made by individual authors. Regarding zealots, the greater the number of contributions per user is, the better the quality of the content is. If we turn to good Samaritans, high quality contributions come from users with fewer contributions, and that quality decreases as the number of contributions per user raises."

Voir spécialement 14] B. Stvilia, M. Twidale, L. Gasser, and L. Smith, “Information quality discussions in wikipedia,” UIUCLIS, Technical Report ISRN 2005/2+CSCW, 2005. [Online]. Available: http://mailer.fsu.edu/˜ bstvilia/papers/qualWiki.pdf
[15] ——, “Information quality in a community-based encyclopedia,” in Knowledge Management: Nurturing Culture, Innovation, and Technology - Proceedings of the 2005 International Conference on Knowledge Management, S. Hawamdeh, Ed., Charlotte, NC: World Scientific Publishing Company, 2005, pp. 101–113.
[16] B. Stvilia, M. Twidale, L. Smith, and L. Gasser, “Assessing information quality of a community-based encyclopedia,” in Proceedings of the International Conference on Information Quality - ICIQ 2005, Cambridge, MA, USA, 2005, pp. 442–454.

Ce n'est qu'un début, évidemment. Mais voilà de quoi satisfaire nos appétits de modélisateurs. - Alter005 ^{[ --> discuter]} 13 septembre 2008 à 17:41 (CEST)