Projet:Aide et accueil/Évaluation du message d'accueil
But de ce projet : Tester l'efficacité du message d'accueil et identifier des pistes pour l'améliorer, avec l'aide de CivilServant, une organisation à but non-lucratif qui a l'habitude de faire ce genre de campagne de test et qui a déjà travaillé avec d'autres Wikipédias.
Cette page résume le projet. Rappel de la prise de décision pour ce test : [1]. Dernière mise à jour : 6 décembre 2019.
Très bref rappel du contexte[modifier | modifier le code]
Depuis plusieurs années, suite à l'initiative du Projet Aide et accueil (A&A), tous les nouveaux comptes reçoivent automatiquement un message de bienvenue ({{Bienvenue nouveau}}) délivré par un bot, et validé par la signature d'une Wikipédienne ou d'un Wikipédien volontaire, afin de rendre le message plus humain. Le but de ce message est d'établir un premier contact afin de faciliter les premiers pas du nouveau. Cependant, l'utilité et l'efficacité de ce message n'ont jamais été testés.
Projet Test du message d'accueil[modifier | modifier le code]
Protocole pour mesurer l'efficacité du message[modifier | modifier le code]
Le projet A&A prévoit de comparer l'« intégration des nouveaux » qui reçoivent le message, à celle des nouveaux qui ne reçoivent pas de message. Cela signifie que durant l'expérimentation, un nouveau sur deux recevra le message d'accueil, les autres ne recevront rien (comme dans l'ancien temps). Cette approche, inspirée du Test A/B, permet de mesurer scientifiquement l'efficacité du bandeau. L'intégration des nouveaux sera mesurée de la façon suivante :
- 1. Par des mesures objectives
- Rétention (combien de nouveaux sont toujours actifs après une semaine, un mois) ;
- Nombre de nouveaux passant le pas de faire leur première contribution ;
- Temps total passé à contribuer sur les 3 premiers mois
- 2. En obtenant le retour des nouveaux
Ce retour sera obtenu via un questionnaire délivré automatiquement à des nouveaux non-vandales tirés au hasard. L'objectif est d'obtenir au moins une centaine de réponses. Il est facultatif et a pour but de mesurer comment les nouveaux perçoivent leur intégration. Ce questionnaire inclut cinq types de questions, largement inspirées d'autres études similaires menées par CivilCervant :
- Vous sentez-vous capables de contribuer à Wikipédia en respectant les cinq principes fondateurs ?
- Savez-vous quoi faire sur Wikipédia ?
- Trouvez-vous la communauté de Wikipédia accueillante ?
- Vous sentez-vous intégré à la communauté de Wikipédia ?
- Savez-vous qui contacter pour obtenir de l'aide ?
Autres mesures finalement pas retenues car trop faiblement observées :
- Fréquence d'utilisation des outils d'aide suivants : forum des nouveaux, parrainage, brouillon, demandes d'aide directe auprès d'un autre contributeur ;
- Nombre de contributions sur les espaces de discussions ;
- Nombre de contributions révertées, d'articles supprimés et/ou de comptes bloqués.
Tester un autre message d'accueil[modifier | modifier le code]
Nous allons profiter de cette expérience pour tester une version légèrement remaniée du message d'accueil ébauchée par Trizek ici : Utilisateur:Trizek/Brouillon/Test CivilServant. Ce message alternatif vise à mettre encore plus en avant les outils d'aide (forum des nouveaux / contacter un Wikipédien).
Durée de l'étude[modifier | modifier le code]
La collecte des données (distribution des messages ou non) durera trois mois maximum. Au bout de 2 semaines, CivilServant fera un premier contrôle pour s'assurer qu'il n'y a pas de problème majeur avec les nouveaux qui ne reçoivent pas le message d'accueil.
Ensuite, CivilServant diffusera le questionnaire décrit plus haut, et distribuera rétrospectivement le message d'accueil aux nouveaux qui ne l'ont pas reçu.
L'analyse des données sera effectuée par CivilServant après la collecte des données et durera de un à trois mois selon leur charge de travail. Tous les résultats seront communiqués à la communauté.
En fonction des résultats, nous pourrions être amenés à modifier le message d'accueil actuel (s'il s'avère inutile ou contreproductif).
Implémentation, analyse et confidentialité[modifier | modifier le code]
CivilServant est en charge de tout ce qui est logiciel (collecter les données) et analyse. Ils ont mis au point le protocole décrit plus haut, en collaboration étroite avec Binabik (d · c · b) assisté par Trizek (d · c · b), et avec les retours ponctuels du projet A&A. Les données collectées seront entièrement anonymes, et le code sera public et ouvert, et pourra donc être utilisé pour tester d'autres versions du message ultérieusement.
Il convient de noter que le protocole de l'expérimentation a été entièrement vérifié et validé par le Comité d'éthique de l'université Cornell.
Résultats[modifier | modifier le code]
La collecte des données a eu lieu début 2020 auprès de 57 084 nouveaux comptes. L'analyse des données n'a cependant pas permis de trouver un effet mesurable significatif entre les utilisateurs recevant le message et ceux qui ne l'ont pas reçu.
Un résumé de l'étude et des résultats en français est disponible ici : [2]
Ci-dessous les données brutes utilisées pour comparer les groupes qui ont reçu vs n'ont pas reçu le message d'accueil. Les différences entre les groupes sont très très fines, d'où l'absence d'effets positifs mesurables du message d'accueil.
| Groupe expérimental : | Contrôle (pas d'accueil) | Traitement 1 (accueil) | Traitement 2 (accueil avec bouton mentor) |
|---|---|---|---|
| Taux de nouveaux comptes qui contribue au moins une fois dans la semaine qui suit l'inscription | 0.368562119 | 0.371452596 | 0.370033635 |
| Nombre de minutes passées à contribuer dans les 12 semaines qui suivent l'inscription | 22.883172167 | 21.334191717 | 20.276697498 |
| Taux de nouveaux comptes toujours actifs après un mois | 0.044198024 | 0.043619929 | 0.044408240 |
| Taux de nouveaux comptes ayant contacté leur mentor | 0.000000000 | 0.003836452 | 0.005675846 |
| Taux de nouveaux comptes ayant posté sur le forum des nouveaux | 0.004677318 | 0.004782426 | 0.006201387 |
| Taux de nouveaux comptes ayant répondu au message d'accueil | 0.004677318 | 0.008250999 | 0.011141476 |
| Taux de nouveaux comptes ayant modifié leur brouillon | 0.034528064 | 0.033161657 | 0.035001051 |
| Taux de nouveaux comptes qui indiquent savoir où obtenir de l'aide | 3.222891566 | 3.348659004 | 3.328358209 |
| Taux de nouveaux comptes qui indiquent savoir quoi faire sur WP | 3.759036145 | 3.835249042 | 3.761194030 |
| Taux de nouveaux comptes qui indiquent avoir la confiance des autres éditeurs | 3.213855422 | 3.375478927 | 3.414179104 |
| Taux de nouveaux comptes qui indiquent se sentir inclus dans la communauté | 2.978915663 | 3.091954023 | 3.134328358 |
| Taux de nouveaux comptes qui indiquent trouver la communauté conviviale | 3.527108434 | 3.647509579 | 3.567164179 |
| Taux de nouveaux comptes qui indiquent se sentir proches d'un autre contributeur | 2.114457831 | 2.249042146 | 2.268656716 |
| Taux de nouveaux comptes qui indiquent se sentir proches de deux autres contributeurs | 2.283132530 | 2.222222222 | 2.205223881 |
| Taux de nouveaux comptes qui indiquent se sentir proches de trois autres contributeurs | 2.376506024 | 2.540229885 | 2.559701493 |