Discussion Projet:Traduction/*/Évaluation des traductions

Évaluation automatique des traductions

(déplacement depuis Discussion Projet:Traduction)

J'ai initié il y a quelques semaines un projet d'évaluation automatique de la pertinence des traductions : Projet:Traduction/*/Évaluation des traductions ; j'ai l'impression qu'il manque quelque chose. Une bonne volonté pourrait-elle me relire et critiquer ? Romainhk (QTx10) 25 juin 2009 à 10:06 (CEST)

Je m'en occupe, j'avais des idées à ce sujet ^_^. J regarde dès que j'ai un peu de temps! Djidane39 (d) 25 juin 2009 à 11:15 (CEST)

Bonjour, je viens de jeter un œil à la page, et je ne suis pas sûre de bien saisir l'objectif. Si je comprends bien, l'idée c'est de catégoriser les demandes de traduction (et/ou les traductions en cours ?) en fonction de leur importance, pour s'attaquer prioritairement aux articles les plus demandés ? hein, dites, j'ai bon ?. Et la question est donc de trouver les meilleurs critères pour évaluer l'importance de ces traductions ?

Je vais supposer que j'ai bien pigé et je continue  : si l'article existe déjà en français, il est logique de se baser sur son évaluation, par contre je trouve le -3 pour article inexistant un peu trop violent (ce n'est pas parce que personne ne s'est lancé sur le sujet qu'il n'est pas intéressant), je me serais contentée d'un -1. Pour le paramétrage pas ou mal fait, ça me gêne aussi de coller un malus (peut-être que la personne qui a fait la demande n'avait simplement pas bien compris le fonctionnement). Sinon, en lien avec le malus "demande périmée", peut-on introduire un critère "article en français passé AdQ => suppression de la demande" ? (je pense toujours à l'exemple de: Berliner Mauer.

Je n'ai pas bien compris non plus pourquoi on passe des +/- à un % ; il me semble plus simple de rester sur l'échelle de -21 à +7 (chiffres susceptibles d'évoluer si on modifie les critères), et de classer "D" de -21 à -15, "C" de -14 à -8, "B" de -7 à -1, "A" de 0 à 7.

Et sinon j'aime bien le bandeau de couleur pour définir les classes A, B, C, D. Asheka ^{[la vie est belle]} 25 juin 2009 à 11:43 (CEST)

Oui c'est une bonne idée les classes ^_^.

Par contre je rejoint Asheka sur certains points : les critères d'évaluation sur "Appartient à la catégorie" me paraissent dépendre d'un autre problème : les traductions mal demandées (pour diverses raisons). Pour moi l'intérêt d'une traduction et le fait qu'elle soit mal demandée sont 2 choses différentes. Ici, on devrait uniquement parler de l'article : "Article français" et "Article étrangers en AdQ ou en BA" me paraissent d'excellents critères à prendre en compte. Par contre "Appartient à la catégorie", "Demande faite par une IP" et "Pas de oldid dans la page de suivi" me paraissent plutôt répondre au problème des pages mal paramétrées...

Pour le reste ça correspond à l'idée que je m'étais faite sur l'évaluation de l'importance des traductions. Djidane39 (d) 25 juin 2009 à 13:42 (CEST)

Merci pour vos commentaires . Ça manquait bien d'explications ! essayons de clarifier tout ça :

@Asheka : Pour le but, c'est presque ça. L'idée est de trouver les traductions "prioritaires" selon deux critères : la pertinence du sujet et l'implication du demandeur (l'utilité de la demande). Le premier axe est positif, comme tu l'as vu : "les bons articles font les bonnes traductions". Pour le deuxième, cela fait suite à des plaintes de traducteurs qui faisaient leur boulot et, une fois fini, le demandeur "s'évanouissait dans la nature" ; le traducteur, frustré, avait l'impression d'avoir travaillé pour des prunes. Le ton de ce projet se veut donc un peu répressif en l'encontre des "demandeurs" trop laxistes et j'ai essayé d'en profiter pour pousser aux usages des "Bonnes pratiques". Donc le but est à la fois trouver les bonnes traductions et de plomber les mauvaises.

Pour "la page in-existante en français", il est très difficile d'initier une traduction sans la page en français. À l'origine je voyais ça comme un manque d'implication du demandeur (qui n'a pas pris la peine de faire un minimum encyclopédique de 2 phrases) mais ce n'est peut-être pertinent ; on peut le passer à -1 (cf. en-dessous).

Pour les catégories de maintenance :

• Demande de traduction mal justifiée : faute grave car la demande n'est pas complète.
• Page de traduction ayant un mauvais statut : en gros, quand le status est différent de 1, 2, 3, 4 ou 5. C'est vrai que ça peu être une erreur d'inattention -> -1 ?.
• Page de traduction non catégorisée pour le suivi = la page n'est pas placée au bon endroit (sous l'arborescence Projet:Traduction/....). C'est une erreur grave mais qui ne renseigne pas sur l'implication du demandeur -> à la trappe ?.
• Page de traduction mal paramétrée = la page française n'existe pas. C'est un doublon :) -> -1.
• Demande de traduction périmée et Traduction sclérosée : plus une traduction est ancienne, moins elle a de chance d'être valide car les 2 wiki évoluent en permanence.

Pour ce qui est de détecter les AdQ en français, je pense qu'il est préférable de voir ces suppressions au cas par cas. Mais c'est une bonne idée d'ajout de détection sur la page Projet:Traduction/*/Maintenance en utilisant "intercat".

Pour le passage en pourcentage, c'est plus "simple" et universel (j'anticipe la programmation en fait ;). L'avantage de passer en pourcentage, c'est qu'on a des tranches fixes et égales (mouais, c'est pas un gros avantage) et surtout, on peut modifier le tableau d'évaluation comme on veut, on n'a pas besoin de recalculer les tranches : ça se fait tout seul par la formule ! (je ne suis pas peu fière de mes formules et, non, je n'ai pas fait d'études de mathématiques ;).

De plus, et c'est tout l'objet de ma 2ème méthode de calcul, on est assuré que les demandes avec une note positive (et les petites négatives) sont notées A tout en gardant des tranches équitables. En fait dans cette méthode, on évalue plutôt les malus, les points positifs ne sont que des bonus. Après, tout dépend comment on regarde le problème : si on considère que bonus et malus ont le même "poids", comme tu dis la moyenne simple est préférable.

Et tu préfères quelle palette de couleurs ? un mélange des 2 peut-être ?

D'ailleurs, je cherche de bon intitulé pour les catégories A, B, C, D.

@Djidane39 : Pour la partie "appartient à la catégorie...", l'idée est de taper sur les doigts des demandeurs qui ont mals paramétrés leur demande. Je sais que c'est un peu violent comme méthode mais j'espère que si un demandeur remarque que sa demande est notée "C : presque à la poubelle", il va chercher à comprendre pourquoi en s'impliquant davantage. J'ai fait un inventaire de chaque catégorie dans la réponse à Asheka plus haut.

Tu as bien remarqué qu'il y avait deux axes : on valorise et on plombe. À l'origine, j'avais lancé se projet à la demande de traducteurs frustrés et le but était uniquement de plomber les mauvaises demandes mais je pense que les 2 approches sont conciliables, un peu comme quand un professeur corrige une copie : il a un barème pour les connaissances et des pénalités pour les grosses fautes (orthographe, présentation...).

Pour les classes, je pense que 4 est un bon chiffre (en tout cas, c'est que que disent les statisticiens ^^). Pour la 5ème, je ne suis pas sûre : vaut-il mieux mettre un ? ou ne rien mettre ?

Voilà, j'avais prévenu que ce serait long . Romainhk (QTx10) 25 juin 2009 à 22:49 (CEST)

"vaut-il mieux mettre un ? ou ne rien mettre ?" > à mon avis ?, pour différencier le "on a pas encore évalué" du "la page n'a pas encore été préparer pour l'évaluation" (un peu comme les autres projet où "?" signifie "non-évalué pour le projet" et si il n'y a rien l'article "n'appartient pas au projet"). Pour le tapage sur les doigts, je comprends l'idée, mais c'est à mon sens un peu disproportionné, tu écris toi même "Total négatif : -18, Total positif : +7", le tapage sur les doigts est donc pour toi un critère bien plus important que l'intérêt réel de la traduction, ce que je trouve un peu exagéré. Je pense que se rapprocher d'un "Total négatif : -3, Total positif : +7" serais plus équilibré. C'est plus pédagogique de montrer qu'une traduction bien demandée est favorisée que de descendre les traductions qui sont mal demandées (ça peut paraitre pareil, mais dans le fond c'est complètement différent). Je verrais plus un truc du genre :

évaluation des traductions
* = cumulables
# = évaluations non-cumulables

Condition		Bonus / Malus
Appartient à la catégorie :	Catégorie:Demande de traduction mal justifiée	-2
	Catégorie:Wikipédia:Page de traduction non catégorisée pour le suivi	-1
	Catégorie:Wikipédia:Page de traduction mal paramétrée	-1
	Catégorie:Demande de traduction périmée	-1 *
	Catégorie:Traduction sclérosée	-1 *
Article français :	avec un bandeau d'ébauche	+1
	évalué à maximum dans le Projet:Wikipédia 1.0	+3 #
	évalué à élevé dans le Projet:Wikipédia 1.0	+2 #
	évalué à moyenne dans le Projet:Wikipédia 1.0	+1 #
	évalué à faible dans le Projet:Wikipédia 1.0 ou pas d'évaluation	$\pm$ 0 #
	bandeau de traduction non-présent	-1
Article étrangers en AdQ ou en BA		+3

• Total négatif : -7
• Total positif : +7

Bon c'est fait un peu vite, mais je voulais juste illustrer mes explications -_-' Djidane39 (d) 27 juin 2009 à 16:56 (CEST)

Ok, pas bête pour le "?" ^^

Il faut dire aussi que, à la base, c'était un projet uniquement répressif. On peux donc laisser tomber le deuxième méthode de calcul ; une moyenne simple est suffisante.

Je suis d'accord pour le rendre moins violent mais pas à ce point :) :

• Il faut tenir compte de l'ancienneté des demandes car les wiki évoluent en permanence : on garde au moins "Demande de traduction périmée" ; "Demande de traduction périmée" et "Traduction sclérosée" -> -1 (les deux sont d'ailleurs cumulables).
• le "bandeau de traduction non-présent" est une faute grave car elle empêche la recherche de traducteur/relecteur : -> -1.
• ok pour l'absence de oldid ; ce n'est peut-être pas un paramètre intéressant car il faut comprendre comment ça marche...
• "Demande de traduction mal justifiée" est la principale arme contre les demandes faites "à la va vite" -> -2.
• pourquoi avoir retiré "Demande faite par une IP" ? C'est trop discriminatoire ?

-7 < note < +7 ; ça fait un meilleur compromis

J'ajoute ces modif en surligné bleu ici et dans l'article. Romainhk (QTx10) 29 juin 2009 à 11:54 (CEST)

Pour les couleurs, je préfère la ligne du haut (mais bon, les goûts et les couleurs... faudrait demander à mon papa un daltonien des daltoniens quelle est la meilleure des deux). Pour les critères ça me paraît mieux équilibré maintenant (oui j'aime bien les échelles centrées en zéro). Pour l'implication des demandeurs... est-ce qu'on attend d'eux qu'ils suivent systématiquement les demandes qui sont faites, commentent/relisent les traductions, félicitent le traducteur à la fin... ? je comprends que c'est agréable pour le traducteur de voir que son travail est apprécié, mais je comprends aussi que quelqu'un fasse une demande de traduction parce qu'il y voit une façon d'améliorer l'encyclopédie, mais sans se sentir vraiment concerné par la suite de la demande (par exemple, je suis tombée ce matin sur [NAS Fallon] ; le traduire de l'anglais - une vraie traduction, pas ce qu'il y a actuellement qui sort manifestement d'un bot - apporterait un petit "+" à wikipédia, je l'ai suggéré sur la page de discussion, mais j'avoue que je ne me soucierai pas dans x semaines de savoir si ça a été fait ou pas...). 'fin bref, ça n'empêche pas de privilégier les demandes faites poliment et bien justifiées, pour lesquelles on aura peut-être un merci à la fin, parce que ça fait toujours plaisir Asheka ^{[la vie est belle]} 29 juin 2009 à 13:40 (CEST)

Pour l'IP oui effectivement, ça me faisait bizarre de voir une mesure négatif pour une IP, ça rejoint le débat plus large sur les IP (mais ce n'est pas le sujet ici), et à ce que j'ai compris, on se doit (pour l'instant) de traiter une IP comme n'importe quels membres sans discrimination.

En tout cas ça me parait mieux équilibré maintenant ^_^, ça me convient -7/+7! Pour ce qui est des couleurs, je n'ai pas de préférences, ça n'est pas le plus important. Djidane39 (d) 29 juin 2009 à 14:44 (CEST)

@Asheka : c'est vrai que c'est pas mal de se faire flatter de temps en temps mais pour ce qui est de l'implication des demandeurs, il faut au moins qu'ils remplissent convenablement les champs "intérêt" et "commentaire" pour que les autres puissent juger de l'importance de cette traduction (c'est ça que j'appel "un minimum d'implication"). Le demandeur est rarement indispensable ; la seule exception formelle que je vois est dans le cas d'une demande faite dans le cadre d'un projet : il faut que le demandeur suive la traduction, au moins pour pouvoir retoucher/adapter l'article au projet.. Au reste, on ne peut pas exiger des fleurs ^ ^.

Pour les couleurs, c'est une question très important : on m'a trop souvent répété que je n'avais pas de goûts (« Quoi ? elle pas fraîche ma page utilisateur ? ») ; un deuxième avis est indispensable ! J'ai fait quelques essaies et le premier à l'air de mieux fonctionner pour les daltoniens :D.

Ok pour la demande d'une IP ; j'avais hésité à la mettre à l'origine pour les même raisons.

Au moins nous sommes tombé d'accord . Après, il faudra voir comment cela fonctionne dans la pratique et, peut-être, réviser se tableau. Bon, il ne reste plus qu'à faire les images, les catégories, adapter les modèles et appeler un bot hebdomadairement. Romainhk (QTx10) 1 juillet 2009 à 13:54 (CEST)

Icônes

Voila, j'ai finalement réussi à dompter le gimp . Les icônes sont sur commons donc on peut voir un premier rendu visuel.

Ça manque de quelque chose mais je ne sais pas quoi. Romainhk (QTx10) 15 juillet 2009 à 14:27 (CEST)