Wikipédia:Bot/Requêtes/2018/07

Une page de Wikipédia, l'encyclopédie libre.
Sauter à la navigation Sauter à la recherche
État des requêtes
Requête en cours de traitement {{Requête en cours}}
Requête traitée {{Requête fait}}
Requête refusée {{Requête refus}}
Requête en attente d'informations complémentaires {{Requête info}}
Requête démarrée puis mise en instance {{Requête pause}}
Requête arrêtée suite à un problème {{Requête stop}}
Requête à archiver sans suite {{Requête sursis}}
Requête non prise en charge depuis un moment {{Requête perdue}}
Requête non prise en charge par un bot {{Requête caduque}}
Requête à archiver sans suite {{Requête sans suite}}
Mois 03 04 05 06 07 08 09 10 11
Archives 03 04 05 06 07 08 09 10 11

Requête traitée Ajout des modèles {{Légende/Début}} et {{Légende/Fin}} partout où ils sont manquants[modifier le code]

Sans modèles début/fin
  •      Amérique du Nord
  •      Amérique du Sud
  •      Antarctique
  •      Afrique
  •      Europe
  •      Asie
  •      Océanie
  • Avec modèles début/fin

    Demande du 14 juillet 2018, par : Tractopelle-jaune (discuter) 14 juillet 2018 à 21:18 (CEST)

    Références ou discussions / décisions justifiant la demande :

    Nature de la demande et discussion éventuelle :
    Il faudrait ajouter les modèles {{Légende/Début}} avant et {{Légende/Fin}} après toute utilisation du modèle {{Légende}} dans le cas où ils ne sont pas déjà présent.

    Depuis la migration de l'analyseur syntaxique Tidy vers RemexHTML, toutes les légendes sans ces deux modèles début et fin sont cassées.

    Il ne s'agit pas à proprement parler d'un problème de RemexHTML, mais plutôt d'un problème de rigueur dans l'utilisation de ces modèles. En effet, jusqu'à présent Tidy réussissait à « réparer » les légendes cassées, ce qui à paradoxalement favorisé la non-utilisation des modèles début/fin (vu que cela marchait très bien sans).

    Voir les légendes des deux images à droite pour se rendre compte du problème (exemple simplifié issu de l'article Terre).

    À noter que la mise en forme utilisée varie selon les articles, parfois c'est un modèle {{Légende}} par ligne, ou parfois ils sont tous collés les uns derrière les autres. Il faudrait que le bot tienne compte de la mise en forme utilisée lors de l'ajout des deux modèles.

    J'ai fait un rapide sondage indicatif via AWB avec son outil « List Comparer », en cherchant toutes les pages utilisant le modèle {{Légende}}, et toutes celles utilisant le modèle {{Légende/Début}}, et j'arrive à plus de 6 800 pages utilisant uniquement Légende. Sachant qu'il s'agit du nombre minimum de pages affectées (il y a souvent plusieurs blocs de légendes par page, et la page n'a été comptée que si aucun modèle {{Légende/Début}} ne s'y trouvait).

    Merci d'avance.

    --Tractopelle-jaune (discuter) 14 juillet 2018 à 21:24 (CEST)

    Bonsoir, comme indiqué dans la discussion du bistro, je me suis normalement chargé de modifier les modèles. J'ai aussi corrigé les articles signalés en erreur dans les statistiques de modèle (sauf le cas du paramètre border). Du coup, j'ajoute deux modifications à effectuer uniquement dans les articles sur lesquels le bot passera :
    1. remplacer la redirection {{Legend}}
    2. supprimer le paramètre border
    Merci ! --FDo64 (discuter) 14 juillet 2018 à 21:33 (CEST)
    Ouais, bon. Grosso modo, un bot doit passer sur les 12 449 pages qui font l'inclusion de {{Légende}}. Non seulement ce n'est pas une requête des plus simples, mais en respectant le maxlag donné par Mediawiki, cela pourrait prendre près de 31 heures (cas extrême) de tout traiter. En imaginant que tout fonctionne correctement, bien évidemment... Lofhi me contacter 15 juillet 2018 à 00:47 (CEST)
    Tractopelle-jaune: Un exemple de modification sur un article, pour être certain de ce que tu demandes ? --Framawiki 22 juillet 2018 à 18:36 (CEST)
    Notification Framawiki : voici une correction effectuée il y a quelques jours.
    Mais à noter que cela peut prendre différentes formes (parfois les modèles {{Légende}} sont tous sur une seule ligne, parfois sur plusieurs (comme sur mon exemple), parfois c'est dans une légende d'une image que le tout est inclus, parfois dans une infobox, parfois directement dans l'article.
    --Tractopelle-jaune (discuter) 22 juillet 2018 à 19:07 (CEST)
    Notification FDo64, Lofhi et Framawiki : Bon, après étude approfondie de la problématique, et vu l'absence de proposition de prise en charge pour le moment (ce qui est compréhensible au vu de la complexité des modifications à faire) j'ai étudié et validé la faisabilité technique de faire ces ajouts de modèles début/fin avec mon bot Tractopelle-jaune télécommandée-bot (d · c · b), en utilisant un script PHP personnel exécuté en ligne de commande (contrôlé par un script bash, qui fait aussi office de chien de garde au cas où).
    Dans le détail, après étude de bon nombre de cas, les situations sont très nombreuses et variées. J'ai déjà identifié plus d'une dizaine de variantes, que ce soit au niveau mise en page, position (dans une infobox, une légende, inclusion directe dans le corps de l'article, etc.), sans parler de l'alignement et des éléments "parasites" à gérer, etc. Ces nombreuses variantes ne pourront pas toutes êtres traitées du premier coup.
    Afin de minimiser le risque d'erreur, qui est élevé au vu de ce que j'ai aperçu si on ne prend pas des précautions, je procéderai avec des règles (regex + contexte) très strictes, spécifiques à chaque cas rencontré. Il n'est clairement pas possible de juste ajouter les modèles {{Légende/Début}} et {{Légende/Fin}} avant et après les modèles {{Légende}} là où ils sont manquants, sans autres précautions.
    L'idée est d'étendre le principe que j'utilise habituellement pour faire des modifications répétitives (que ce soit sous mon compte bot ou sous mon compte principal) du système à 3 états que j'utilise (un fichier d'entrée avec toutes les pages à traiter, un autre de "sortie" pour toutes les pages traitées avec succès (que ce soit avec ou sans modification), et pour finir un fichier d'erreur. Il s'agira d'utiliser un système à états multiples, avec trois fichiers supplémentaires, notamment un fichier "final" pour y enregistrer les articles qui sont "définitivement" traités (pour lequel toutes les légendes sont accompagnées de leur modèles début/fin), afin d'éviter de repasser (au niveau des requêtes) sur une page déjà intégralement traitée.
    Le principe sera de vérifier que toutes les séquences de modèles {{Légende}} (qui peuvent comporter de 1 à plus d'une dizaine de légendes) d'un article soient accompagnées des modèles début/fin, si c'est le cas, la page est considéré comme définitivement traitée, et versée dans le fichier correspondant. Au contraire, si le cas n'a pas pu être traité, ou que partiellement, la page se verra assigné un état adapté à cette situation, afin de permettre de revenir dessus plus tard.
    Une ou plusieurs nouvelles passes du bot seront lancées une fois les cas courants traités (soit probablement environ 80 % des cas) pour repasser sur les pages n'ayant pas reçu l'état "final" afin de corriger au maximum les cas restants.
    Car vu la grande variété de situations, les règles seront optimisées au fur et à mesure pour gérer des situations supplémentaires, tout en restant suffisamment restrictives pour éviter les erreurs. Cela aura comme conséquence que sur quelque pourcents des articles (sûrement dans les 2-3 %), un second passage du bot devra être effectué, soit en automatique ou semi-automatique, pour finir le travail. Un article ne sera considéré comme traité que quand toutes les séquences de légendes auront leurs modèles début/fin.
    Je pense qu'avec cette méthode, je serais en mesure de traiter 90 à 95 % des articles en automatique. Par contre cela prendra plusieurs jours, car ce travail nécessite une certaine supervision, avec des interventions régulières pour gérer les nouveaux cas.
    J'appliquerai bien entendu en même temps les autres corrections mineures demandées par FDo64.
    Voilà, sauf avis contraire, je commencerai probablement ce week-end les corrections.
    --Tractopelle-jaune (discuter) 1 août 2018 à 23:31 (CEST)
    Tractopelle-jaune : content d'apprendre que cette requête est traitée. Je m'avoue curieux de savoir précisément comment tu as organisé ton code. Bon courage pour tout traiter ! Lofhi me contacter 3 août 2018 à 23:49 (CEST)
    Notification Lofhi : J'ai mis mon script PHP sur Utilisateur:Tractopelle-jaune/Divers/Script ajout légendes début-fin, cela te donnera une idée de comment je m'y prend, et des multiples vérifications que j'effectue.
    À savoir que pour le moment, 32 erreurs ou problèmes potentiels ont été détectés par le script (que ce soit avant d'ajouter les modèles début/fin ou lors des vérifications post-ajout, avant mise en ligne), elles se répartissant ainsi pour le moment : Erreur 03 (3x), Erreur 06 (22x), Erreur 07 (1x), Erreur 09 (1x), Erreur 10 (2x) et Erreur 15 (3x). Toutes les pages concernées reçoivent l'état d'erreur, et sont ainsi enregistrées dans un fichier spécifique, afin de pouvoir les vérifier/corriger manuellement une fois que le reste sera terminé.
    Et merci pour les encouragements, ça fait plaisir, car ce sera effectivement une requête assez longue à traiter...
    --Tractopelle-jaune (discuter) 4 août 2018 à 13:40 (CEST)
    Notification FDo64 et Lofhi : Bon, J'ai pu traiter environ 90 % des pages en automatique, soit plus de 10 000 pages (avec environ la moitié nécessitant des modifications).
    Il reste environ 1200 pages non traitables de manière secure par le bot, car risque d'erreur trop élevé (le principal problème, c'est d'exploser la mise en page en traitant les modèles de légendes isolés, car ils sont souvent insérés d'une manière problématique, notamment avec des tableaux de mises en page).
    Pour ceux-là, je les traiterais progressivement en semi-automatique avec AWB ces prochains mois, quand j'ai le temps (au milieu d'autres tâches). J'en profite également lors de ces traitements de remplacer les tableaux de mise en page contenant des légendes par des solutions plus propre et accessibles, que ce soit des modèles ad-hoc dans certains cas ou des {{Début de colonnes}} et {{Fin de colonnes}} dans d'autres.
    Je marque la requête comme traitée, car il est difficile de faire plus (certaines pages ont déjà été modifiées à 2 voire 3 reprises par le bot, au fur et à mesure des améliorations techniques permettant d'effectuer, dans des contextes précis, des corrections de séquences délicates).
    Je marque la requête comme traitée, car cela ne concerne plus les bots, et qu'il faudra plusieurs mois pour finir le reste.
    Pour information, voici la liste des ~1200 articles sur lesquels il faudra passer à la main : Utilisateur:Tractopelle-jaune/Divers/Légendes/Liste des articles devant êtres traités manuellement.
    À noter que le nombre d'articles à corriger diminue aussi de manière naturelle (mais lentement), car vu que l'affichage dans les articles est bien souvent incorrect ou dégradé sans les modèles début/fin, des contributeurs corrigent ponctuellement ce problème en ajoutant les modèles manquants.
    En vous remerciant pour votre patience pour ce traitement compliqué.
    Bonne journée.
    --Tractopelle-jaune (discuter) 15 septembre 2018 à 09:44 (CEST)
    Notification Tractopelle-jaune : C'est plutôt toi qu'il faut remercier pour ta patience à traiter cette requête complexe ! Je ne te promets rien mais il n'est pas impossible que je t'aide à terminer ta liste Mort de rire ! --FDo64 (discuter) 15 septembre 2018 à 17:40 (CEST)

    Suivi de la demande :
    Fairytale player play.pngEn cours, Tractopelle-jaune télécommandée-botNuvola apps kcmsystem.svg(d · c) dressé par Tractopelle-jauneUser.svg(d) travaille. (3 août 2018 à 20:22 (CEST))
    Med bat.svgEn charge, Tractopelle-jaune télécommandée-botNuvola apps kcmsystem.svg(d · c) n'avait plus la force d'avancer et a été mis en charge par Tractopelle-jauneUser.svg(d). (3 août 2018 à 23:41 (CEST)) (364 pages vérifiées, dont 270 modifiées) - Terminé pour ce soir, le bot va se reposer pour la nuit, je reprendrai demain.
    Fairytale player play.pngEn cours, Tractopelle-jaune télécommandée-botNuvola apps kcmsystem.svg(d · c) dressé par Tractopelle-jauneUser.svg(d) travaille. (4 août 2018 à 14:38 (CEST))
    Construction.svgArrêté, Tractopelle-jaune télécommandée-botNuvola apps kcmsystem.svg(d · c) dressé par Tractopelle-jauneUser.svg(d) est arrêté suite à une anomalie ou un blocage. (4 août 2018 à 16:38 (CEST)) (le temps de corriger un léger problème d'indentation (diff), ce n'est pas à proprement parler une erreur du bot (il ne fait que reproduire l'indentation/espacement existant avant modification), mais cet espacement déjà présent est incorrect en raison de retours à la ligne excédentaires).
    Fairytale player play.pngEn cours, Tractopelle-jaune télécommandée-botNuvola apps kcmsystem.svg(d · c) dressé par Tractopelle-jauneUser.svg(d) travaille. (4 août 2018 à 16:56 (CEST)) (problème réglé).
    Fairytale player pause.svgEn pause, Tractopelle-jaune télécommandée-botNuvola apps kcmsystem.svg(d · c) dressé par Tractopelle-jauneUser.svg(d) reprendra son activité dès que possible. (4 août 2018 à 17:54 (CEST)) (je reprendrai normalement dans la soirée).
    Fairytale player play.pngEn cours, Tractopelle-jaune télécommandée-botNuvola apps kcmsystem.svg(d · c) dressé par Tractopelle-jauneUser.svg(d) travaille. (4 août 2018 à 19:30 (CEST))
    Construction.svgArrêté, Tractopelle-jaune télécommandée-botNuvola apps kcmsystem.svg(d · c) dressé par Tractopelle-jauneUser.svg(d) est arrêté suite à une anomalie ou un blocage. (4 août 2018 à 21:29 (CEST)) le temps de corriger un bug, il est probable qu'il s'agit (après vérification) d'une corruption survenue lors de la récupération de l'article (aucune fonctionnalité du script ne peut provoquer ce genre de suppression). Après vérification, il s'agit d'un cas unique. Je vais ajouter deux vérifications supplémentaires au script pour parer ce genre de cas.
    Fairytale player play.pngEn cours, Tractopelle-jaune télécommandée-botNuvola apps kcmsystem.svg(d · c) dressé par Tractopelle-jauneUser.svg(d) travaille. (4 août 2018 à 22:41 (CEST)) Une vérification automatique basée sur la comparaison de la taille de la page récupérée via l'API et du nombre d'octets de la page téléchargée est maintenant effectuée directement par la fonction de téléchargement).
    Med bat.svgEn charge, Tractopelle-jaune télécommandée-botNuvola apps kcmsystem.svg(d · c) n'avait plus la force d'avancer et a été mis en charge par Tractopelle-jauneUser.svg(d). (4 août 2018 à 23:42 (CEST))1239 pages vérifiées en tout, dont 798 modifiées — Le bot et son dresseur vont maintenant se reposer pour la nuit.
    Fairytale player play.pngEn cours, Tractopelle-jaune télécommandée-botNuvola apps kcmsystem.svg(d · c) dressé par Tractopelle-jauneUser.svg(d) travaille. (5 août 2018 à 14:28 (CEST))
    Med bat.svgEn charge, Tractopelle-jaune télécommandée-botNuvola apps kcmsystem.svg(d · c) n'avait plus la force d'avancer et a été mis en charge par Tractopelle-jauneUser.svg(d). (5 août 2018 à 23:47 (CEST))2030 pages vérifiées en tout, dont 1175 modifiées.
    Fairytale player play.pngEn cours, Tractopelle-jaune télécommandée-botNuvola apps kcmsystem.svg(d · c) dressé par Tractopelle-jauneUser.svg(d) travaille. (6 août 2018 à 09:14 (CEST))
    Fairytale player pause.svgEn pause, Tractopelle-jaune télécommandée-botNuvola apps kcmsystem.svg(d · c) dressé par Tractopelle-jauneUser.svg(d) reprendra son activité dès que possible. (6 août 2018 à 10:50 (CEST)) (le temps de quelques modifications, pour essayer de réduire un peu le nombre de pages qui nécessiteront un second passage du bot).
    Fairytale player play.pngEn cours, Tractopelle-jaune télécommandée-botNuvola apps kcmsystem.svg(d · c) dressé par Tractopelle-jauneUser.svg(d) travaille. (6 août 2018 à 16:56 (CEST))
    Fairytale player pause.svgEn pause, Tractopelle-jaune télécommandée-botNuvola apps kcmsystem.svg(d · c) dressé par Tractopelle-jauneUser.svg(d) reprendra son activité dès que possible. (10 août 2018 à 23:13 (CEST))3645 pages vérifiées en tout, dont 1848 modifiées.
    Fairytale player play.pngEn cours, Tractopelle-jaune télécommandée-botNuvola apps kcmsystem.svg(d · c) dressé par Tractopelle-jauneUser.svg(d) travaille. (12 août 2018 à 10:13 (CEST))
    TerminéTerminé, Tractopelle-jaune télécommandée-botBot(d · c) dressé par Tractopelle-jauneUtilisateur(d) a terminé son travail. (15 septembre 2018 à 09:44 (CEST))10788 pages traitées avec succès, dont 6694 modifiées. — c'en est fini pour le traitement automatique, il reste environ 1200 pages (dans le main) qu'il faudra traiter à la main, car non traitable pour des raisons de sécurité par le bot (risque d'erreur ou de cassage de mise en page trop élevé), je les traiterai à la main avec AWB ces prochains mois.
    Cette requête sera archivée ici à partir du 22 septembre 2018.