Utilisateur:Nanoyo88/testIA
Prise de notes IA
Cela fait déjà un moment que je me fais assister par IA dans mon travail, et j'effectue aussi des tests pour Wikipedia. J'ai rapidement remarqué que les travaux que j'effectuais avec l'assistance d'une IA sont plus efficaces et mieux faits que ceux sans. Attention toutefois, j'insiste sur le terme d'assistance car chatgpt est utilisé ici comme un outil au même titre que le serait Deepl pour la traduction ou un dictionnaire d'homonyme pour la réécriture.
Principe
[modifier | modifier le code]Le principe des tests IA, c'est de voir dans quelle mesure l'IA est capable d'assister le travail des contributeurs et compenser leurs lacunes. Ce test s'effectue uniquement avec les outils gratuits et aucune version payante. Il est certain que des versions payantes sont en mesure de donner de meilleurs résultats.
En effet, dans les versions gratuites, l'IA retient généralement une demande principale et oublie régulièrement les petits détails. Il est donc régulièrement nécessaire de rappeler les instructions.
J'ai toujours pris pour habitude de poser le cadre (dire à ChatGPT quel rôle il joue), lui donner des instructions, rectifier entre temps.
Vos avis et suggestions
[modifier | modifier le code]Merci de commenter les tests et faire vos suggestions en PDD !
Traduction
[modifier | modifier le code]Le travail s'effectue depuis l'outil de traduction wikipedia afin d'avoir un résumé de modification de traduction automatique. Si l'outil permettait un passage en code source, il serait possible d'indiquer à Chatgpt de comparer la traduction proposée, de l'améliorer et ce en préservant le code source automatiquement traduit. Impossible en l'état.
Demande initiale : "Tu es un traducteur vers le français pour Wikipédia et tu m'assistes dans mon travail. Traduis ce texte en Français et reformule le au présent". L'ensemble de l'article anglais lui est dès lors proposé. Mon travail est dès lors de relire la traduction et remettre les liens internes perdus, différents éléments de code, références, liens linguistiques, etc. Résultat concret de 25 minutes de travail : [1].
Des traductions automatiques bâclées demandent environ 10 minutes d'adaptation du texte pour "forcer" la traduction. Une traduction automatique légèrement relue de cette taille demande 20 minutes environ. Une traduction convenablement relue de cette taille demandera environ 45 minutes. (D'expérience 1000 octets = entre 5 et 10 minutes).
Les problèmes qui persistent au niveau du code source trouvent racine dans l'absence de code source disponible dans l'outil de traduction, et non dans l'intervention de chatgpt.
Autres tests identiques
[modifier | modifier le code]Aborigines’ Protection Society : Test identique. Ici encore, en l'absence de code source, beaucoup de temps perdu. De plus, la limite de texte à proposer à chatgpt fait que l'article se fait morceau par morceau, et il faut rappeler parfois de mettre "au présent". Les problèmes posttrad sont relatifs à l'outil de traduction wikipédia encore une fois. La traduction proposée par chatgpt est perfectible en lui indiquant de ne pas traduire le nom des associations et des publications. Ca n'a pas été fait car chatgpt oublie ce genre d'instruction dès la seconde itération de texte. Temps passé : 35 minutes pour 22.000 octets (17900 après correctifs posttrad)
Société ethnologique de Londres : Même méthode que ci-dessus. Le plus long, c'est ce qui relève du code wikipedia. Temps : 40 minutes - 27.000 octets. Résultat : [2]
Harry Edward Arnhold : idem, mais ici ça a été peu efficace car la rédaction en anglais n'était pas forcément bonne non plus. 25 minutes - [3] 12.000 octets
Améliorations de fond
[modifier | modifier le code]Rédaction de RI
[modifier | modifier le code]Sur base d'un article de base qui lui est transmis, demande de fournir un résumé introductif de 600 mots. Précision sur le type de texte, l'objet encyclopédique. Ensuite, demande de réduire de moitié et passer le temps verbal au présent.
Résultat en 5 minutes.
Intégration d'une source par comparaison
[modifier | modifier le code]L'article possède un lien ODNB. Il a été proposé à Chatgpt de comparer le contenu de l'article traduis et le contenu ODNB afin d'insérer ce qu'il manque. La demande aurait pu être améliorée, mais elle a été faite comme suit : "Tu es un expert Wikipédia. Compare les deux textes que je vais te fournir et indique moi les paragraphe dans le second texte qui contiennent des informations inexistantes dans le premier." Puis dans un second temps "Réécris les paragraphes concernés au temps présent, avec 20% de mots en moins, en préservant les informations les plus pertinentes"
Résultat [4] - temps : 10 à 15 minutes
Même méthode que précédemment + intégration de sources supplémentaire. La demande est qu'il tienne compte de tous les textes précédemment fournis afin d'identifier les informations supplémentaires sur le sujet que présente la nouvelle source. D'indiquer si rien ne semble pertinent. Ensuite, de les formuler en un paragraphe neutre et encyclopédique de 200 mots.
Résultat en 10 à 15 minutes au total.
Intégration d'une source de type liste
[modifier | modifier le code]Dans le cas de Felipe Gonzalez, plusieurs sources fournissaient des données centrées sur l'île de Pâques en Espagnol. Une source fournissait un listing biographique assez complet mais pas du tout mis en forme convenablement. De plus, elle est en espagnol et je ne maitrise pas l'espagnol. [5]
Essais ratés : "Transforme les informations ci-dessous en texte encyclopédique français au temps présent". Chatgpt me renvoie le contenu copié et traduis sans reformulation. Ma demande était donc imprécise sur ce point. Je lui demande donc de "Reformuler le tout en un texte reprenant les informations les plus importantes". Il m'offre alors un résumé de 9 lignes, j'en déduis qu'il a compris que je demandais un résumé. Encore une fois ma demande était imprécise.
Je reformule la demande complètement : "Réinitialise mes précédentes demandes. Tu es un expert Wikipedia. Sur base de ce texte, crée une biographie écrite au temps présent avec les informations les plus importantes. N'invente rien et ne commet pas d'hallucinations numérique. Le texte doit faire au moins 600 mots"
Le texte fourni correspond parfaitement à ma demande. Mon travail consiste dès lors à insérer, mettre en forme, mettre des liens. Il est tout à fait possible de demander à chatgpt de suggérer une structure à l'article, mais je n'ai jamais été convaincu jusqu'ici.
Résultat final : [6] temps : 10 à 15 minutes
Assistant de source ?
[modifier | modifier le code]Les différents essais effectués sur les sources n'ont jamais offert de bons résultats. Je vais tenter d'encadrer une demande groupée en interdisant à chatgpt d'inventer une source. Dans la demande, j'ai mis l'accent sur la précision et l'importance de la qualité des sources. Je lui ai également indiqué qu'il est probable qu'il ne trouve pas de source pour certains sujets et qu'il doit uniquement me faire part de références de haute qualité et haute fiabilité. Afin d'atteindre cet objectif, j'ai même demandé à chatgpt s'il a besoin d'informations complémentaires. C'est là que c'est devenu intéressant puisqu'il m'a demandé d'affiner par catégorie afin qu'il soit en mesure de fournir quelque chose de pertinent. J'ai donc précisé la recherche sur les articles sans sources étant liés au portail musique. Au total, 198 sujets. J'ai été très étonné que, pour la première fois, chatgpt m'indique prendre en compte la demande et avoir besoin de temps pour identifier des sources pour chacun des sujets. En attente de résultat, donc.
Conseils
[modifier | modifier le code]Combien de mots demander ?
[modifier | modifier le code]Lorsque vous demander une tâche à chatgpt avec une quantité de mot, c'est à vous de déterminer la pertinence du contenu du texte à traiter. Pour une pertinence très élevée qu'il faut reformuler, visez environ la moitié (ex Felipe Gonzalez, la nouvelle source = 1366 mots, j'ai visé 600 mots). Pour une information que vous ne voulez résumer qu'à un paragraphe : entre 100 et 300 mots. Par habitude, je demande 200.
Constatations et avis
[modifier | modifier le code]Concernant les traduction, le gain de temps n'est pas forcément l'argument principal. C'est plutôt l'optimisation qualité/temps investi. Mes traductions assistées par chatgpt sont TOUTES meilleures que lorsque je le fais en solo. Elles ne sont pas sans défaut, mais elles réduisent significativement le temps de travail que cela peut représenter aux relecteurs, ce qui est donc un argument collaboratif fort. Dans un monde idéal, l'outil de traduction wikipédia exploite chatgpt pour sa traduction automatique plutôt que le traducteur actuel. Ca permettrait d'avoir également une prise en charge des codes sources. Mais là, le débat est ouvert car cela ouvre la voie à une gigantesque quantité de données traduites avec toujours aussi peu de contributeurs capables d'éponger les dégâts en cas de vandalisme.
Concernant l'intégration de sources, l'outil est extrêmement utile de par sa capacité à prendre en charge de nombreuses langues. Il devient incertain pour les dialectes rares, mais si on le conditionne, il signalera lorsque ses limites sont atteintes. Il permet de réduire le temps de lecture bien entendu, mais aussi le temps de synthèse. En lui donnant le bon ton à adopter et les bonnes directives, l'outil est très fonctionnel. Je pense que tout l'enjeu de l'utilisation de l'outil, c'est de partager ces connaissances afin de s'entraider mutuellement à identifier les meilleures formulations pour répondre aux demandes.
Prise en charge du wikicode ?
[modifier | modifier le code]Au sein d'un brouillon, je vais tenter de tester chatgpt sur la prise en charge du wikicode pour modifier la traduction de la page Oguola. Je lui ai demandé de ne pas modifier le wikicode, de passer le texte au présent et de corriger des erreurs de traduction tout en supprimant les espaces superflus. Oui, ça fonctionne. Je renforce la demande en lui demandant cette fois d'appliquer les mêmes demandes tout en déplacant les éléments de références avant la ponctuation, car ils sont tous placés après. Je lui spécifie les codes de ref et sfn utilisés. Au premier essai, ça semble fonctionner. Il a toutefois fait une erreur en supprimant le contenu des balises ref. Pourquoi ? Parce que je lui ai pas donné précisément le bon modèle de ref à préserver. Une fois rectifié, l'erreur l'est aussi. Malheureusement, il plante parfois. Alors il faut lui demander de faire un récapitulatif des ordres reçus afin de lui donner des indications supplémentaires. A partir de là, il a commencé à faire n'importe quoi et j'ai donc recommencé à zéro... La nouvelle demande :
Je vais te fournir un texte avec du wikicode. Tu dois me renvoyer un texte qui préserve l'ensemble de ces codes. Les instructions sont de corriger d'éventuelles erreurs de compréhension car il s'agit d'un texte traduit automatiquement de l'anglais vers le français. Deuxièmement, tu dois supprimer les espaces superflus. Troisièmement, tu dois passer tous les verbes au temps présent. Quatrièmement, tu dois déplacer toutes les références avant la ponctuation. Tu peux identifier ces références car elles utilisent soit la balise SFN, soit la balise REF. L'intégralité de la référence et du contenu qui se trouve entre deux balises <refname=...> et </ref> doit faire l'objet de ce déplacement.
Malheureusement, il ne comprend toujours pas la demande pour les balises ref. C'est une demi réussite. Je lui ai indiqué son erreur et il est passé en mode code, peu pratique.