Défi fouille de texte

Un article de Wikipédia, l'encyclopédie libre.
Aller à : navigation, rechercher

DEFT ou Défi fouille de texte est une campagne d'évaluation scientifique francophone portant sur la fouille de textes. Le défi est organisé depuis 2005 par des chercheurs du LRI (Laboratoire de Recherche en Informatique, Orsay) et du LIRMM (Laboratoire d'informatique, de robotique et de microélectronique de Montpellier), puis du LIMSI (Laboratoire d'informatique pour la mécanique et les sciences de l'ingénieur, CNRS) dès 2007 avec le soutien du consortium European Language Resources Association (ELDA/ELRA) (en).

Historique[modifier | modifier le code]

L'intérêt d'une campagne d'évaluation est de permettre de confronter, sur un même corpus, des méthodes et logiciels d'équipes différentes. L'atelier d'évaluation DEFT propose chaque année depuis sa création des thèmes relevant de la fouille de textes en langue française. Ainsi les objectifs sont de fédérer les équipes de recherches francophones en fouille de textes et de mettre des corpus étiquetés à la disposition de la communauté scientifique.

Lors de cette conférence, des corpus de textes de provenances très variées (journal Le Monde, débats de l'Assemblée Nationale, sites internet éditoriaux, Wikipédia) sont assemblés et soumis aux laboratoires participants aux défi. Une thématique de recherche d'information particulière est proposée : reconnaître dans des phrases mélangées l'auteur d'un discours politique (campagne 2005), ou où encore détecter une opinion bonne, neutre ou mauvaise dans des documents (campagne 2007), en plus multi-langue (campagne 2009).

Reprenant le principe des conférences nord américaines (notamment TREC Novelty), cette campagne francophone réunit chaque année depuis ses débuts une dizaine de laboratoires participants qui proposent des solutions algorithmiques originales pour tenter de répondre à la problématique proposée.

Des mesures de performances (précision, rappel, F-score) sont réalisées sur les résultats fournis, et permettent de dégager un classement des systèmes proposées par les participants. Un classement jeune chercheurs est également proposé pour les contributions d'équipes composées de doctorants (ou docteurs de moins d'un an).

Les retombées de ce type de campagnes sont nombreuses dans le domaine de l'industrie du service et la recherche d'information (moteurs de recherche spécifiques, fouille de texte, classification automatique). Les corpus créés pour ces campagnes, lorsqu'ils sont libres de droits, sont librement téléchargeables depuis le portail [1] (certains après signature préalable d'un accord). L'édition 2008 a fait l'objet d'un package rassemblant les corpus, les scripts d'évaluation, les articles des participants et le site web, commercialisé par ELDA.

Campagnes[modifier | modifier le code]

2005[modifier | modifier le code]

  • DEFT'05 (Dourdan) TALN Recital 2005, identification du locuteur d'un discours.
  1. Classement :

2006[modifier | modifier le code]

  1. Classement :
    • 1er LIMSI ;
    • 2e CLIPS-IMAG;
    • 3e Laboratoire GRDS.

2007[modifier | modifier le code]

  • DEFT'07 (Grenoble) AFIA 2007, détection de l'opinion exprimée dans un texte, quatre corpus, deux à trois classes (positif, neutre, négatif) par corpus.
  1. Classement :
    • 1er Laboratoire Informatique d'Avignon (LIA) - UAPV, F-mesure = 0,602 ("à voir à lire"), 0,784 ("jeux vidéo"), 0,564 (relectures), 0,719 (débats) ;
    • 2e EPHE-CNRS et Universität Würzburg, F-mesure = 0,599 ("à voir à lire"), 0,699 ("jeux vidéo"), 0,507 (relectures), 0,681 (débats) ;
    • 3e Société CELI France, F-mesure = 0,513 ("à voir à lire"), 0,706 ("jeux vidéo"), 0,536 (relectures), 0,697 (débats).
  2. Classement « jeunes chercheurs » :
    • 1er LIP6, F-mesure = 0,542 ("à voir à lire"), 0,659 ("jeux vidéo"), 0,427 (relectures), 0,676 (débats) ;
    • 2e Laboratoire Informatique d'Avignon (LIA) - UAPV, F-mesure = 0,504 ("à voir à lire"), 0,457 ("jeux vidéo"), 0,469 (relectures), 0,553 (débats) ;
    • 3e Laboratoire Lattice, F-mesure = 0,392 ("à voir à lire"), 0,536 ("jeux vidéo"), 0,437 (relectures), 0,582 (débats).

2008[modifier | modifier le code]

  1. Classement tâche 1 (identifier le genre et le thème d'un texte) :
  2. Classement tâche 2 (identification du thème uniquement - cinq classes France/international/littérature/sciences/société - d'un texte) :

2009[modifier | modifier le code]

  • DEFT'09 (Paris) 2009, Analyse multilingue d'opinion.
  1. Classement tâche 1 (détection du caractère objectif/subjectif global d'un texte en corpus presse (Le Monde, The Financial Times, Il Sole 24 Ore) - deux classes : objectif/subjectif) :
    • Anglais (trois participants)
      • 1er UCL (Université Catholique de Louvain), Belgique, F-mesure = 0,851 ;
      • 2e Laboratoire UKP (Ubiquitous Knowledge Processing lab), Darmstadt, Allemagne, F-mesure = 0,822 ;
      • 3e Laboratoire CHArt-EPHE/CNRS (Cognition Humaine et Artificielle), France, F-mesure = 0,676.
    • Français (cinq participants)
      • 1er UCL (Université Catholique de Louvain), Belgique, F-mesure = 0,925 ;
      • 2e LINA (Laboratoire d'Informatique Nantes Atlantique), F-mesure = 0,850 ;
      • 3e EBSI (École de bibliothéconomie et des sciences de l'information), Montréal, Canada, F-mesure = 0,781.
    • Italien (un participant)
      • 1er Laboratoire CHArt -EPHE/CNRS (Cognition Humaine et Artificielle), France, F-mesure = 0,716.
  2. Classement tâche 2 (détection des passages subjectifs d'un texte en corpus presse et en corpus parlementaire - deux classes : objectif/subjectif), deux participants, constitution de la référence a posteriori par le recouvrement des soumissions des deux participants :
    • Corpus presse
      • 1er LINA (Laboratoire d'Informatique Nantes Atlantique), F-mesure = 0,863 ;
      • 2e LIPN (Laboratoire d'Informatique Paris Nord), F-mesure = 0,777.
    • Corpus parlement européen
      • 1er LINA (Laboratoire d'Informatique Nantes Atlantique), F-mesure = 0,909 ;
      • 2e LIPN (Laboratoire d'Informatique Paris Nord), F-mesure = 0,799.
  3. Classement tâche 3 (détermination du parti politique européen d'appartenance d'un orateur en corpus parlementaire - cinq classes : Verts-ALE, GUE-NGL, PSE, ELDR, PPE-DE), un seul participant :
    • 1er EBSI (École de bibliothéconomie et des sciences de l'information), Montréal, Canada, F-mesure = 0,339.

2010[modifier | modifier le code]

  • DEFT'10 (Montréal) TALN-RECITAL 2010, Étude de la variation diachronique et diatopique du français : identification de la période et du lieu de publication d'articles de presse.
  1. Classement tâche 1 (identification de la décennie de publication d'un article de presse, quinze classes : 1800/1810/1820 ... 1930/1940, six participants) :
    • 1er : LIMSI (Laboratoire d'Informatique pour la Mécanique et les Sciences de l'Ingénieur), F-mesure = 0,338 ;
    • 2e : Laboratoire Informatique d'Avignon - UAPV , F-mesure = 0,294 ;
    • 3e : CLUL (Centro de Linguística da Universidade de Lisboa), F-mesure = 0,183 ;
    • F-mesure moyenne = 0,193 - F-mesure médiane = 0,181.
  2. Classement tâche 2 (identification du pays - deux classes : France/Québec - et du journal - quatre classes : L'Est Républicain/Le Monde/La Presse/Le Devoir - de parution d'un article de presse, cinq participants) :
    • 1er : Laboratoire Informatique d'Avignon - UAPV
      • Piste 1 - identification du pays : F-mesure = 0,932 ;
      • Piste 2 - identification du journal : F-mesure = 0,741.
    • 2e : CLUL (Centro de Linguística da Universidade de Lisboa)
      • Piste 1 - identification du pays : F-mesure = 0,858 ;
      • Piste 2 - identification du journal : F-mesure = 0,630.
    • 3e : Lutin (Laboratoire Usage et Technologie de l'Information)
      • Piste 1 - identification du pays : F-mesure = 0,762 ;
      • Piste 2 - identification du journal : F-mesure = 0,424.
    • F-mesure moyenne = 0,767 (pays) - 0,489 (journaux) - F-mesure médiane = 0,792 (pays) - 0,462 (journaux).

2011[modifier | modifier le code]

  • DEFT'11 (Montpellier) dans le cadre de la conférence TALN-RECITAL 2011, Étude de la variation diachronique en corpus de presse francophone et appariement d'un article scientifique avec son résumé.

2012[modifier | modifier le code]

  • (Grenoble, France, TALN 2012) : identification automatique des mots-clés indexant le contenu d'articles scientifiques ayant paru en revues de Sciences Humaines et Sociales, avec l'aide de la terminologie des mots-clés (piste 1), sans terminologie (piste 2).

2013[modifier | modifier le code]

  • (Les Sables-d'Olonne, France, TALN 2013) : identification du niveau de difficulté de réalisation d'une recette, identification du type de plat préparé, appariement d'une recette avec son titre, identification des ingrédients d'une recette.

2014[modifier | modifier le code]

  • 2014 (Marseille, France, TALN 2014) : catégoriser le genre littéraire de courtes nouvelles, évaluer la qualité littéraire de ces nouvelles, déterminer si une œuvre fait consensus, déterminer la session scientifique dans laquelle un article de conférence a été présenté.

2015[modifier | modifier le code]

  • 2015 (Caen, France, TALN 2015) : fouille d'opinion, de sentiment et d'émotion dans des messages postés sur Twitter.

Voir aussi[modifier | modifier le code]

Articles connexes[modifier | modifier le code]

Liens externes[modifier | modifier le code]