Bibliométrie

Un article de Wikipédia, l'encyclopédie libre.
Sauter à la navigation Sauter à la recherche

La bibliométrie est une méta-science qui prend la science pour objet d'étude. Elle concerne trois éléments de l'activité scientifique : ses intrants, ses extrants et ses impacts[1].

La bibliométrie peut être définie comme « l’application des mathématiques et des méthodes statistiques aux livres, articles et autres moyens de communication » (Beauvens, 1969[2]). Une définition plus contemporaine, associant bibliométrie, scientométrie d'outputs et infométrie, serait en termes d'« analyse quantitative de l'activité et des réseaux scientifiques ». Cette discipline, qui s'appuie sur l'analyse statistique des données et des réseaux, a un volet cognitif, en interaction avec les champs se donnant les sciences et les communautés scientifiques comme objet (économie de la connaissance, sociologie des sciences, épistémologie, histoire des sciences, etc.) et avec les sciences de l'information. Elle a un volet opérationnel, en liaison avec l'évaluation, le positionnement des acteurs et le management scientifique. Dans ce dernier cas, les études bibliométriques permettent de quantifier la communication d'un individu ou d'un groupe, non seulement en termes de volume, mais également de visibilité, d'influence, de partenariats, d'insertion dans les réseaux.

Les courants sociologiques les plus contrastés, du fonctionnalisme de R. K. Merton aux courants radicaux de la sociologie des années 1980 dans leur application aux « acteurs » de recherche (programme fort, science studies, sociologie de la traduction devenue théorie de l'acteur-réseau, ANT), s'accordent sur une chose, le rôle central de la publication dans la vie scientifique. C'est l'hypothèse fondatrice de la scientométrie que de reconnaître dans les traces bibliométriques (publications, citations) et les réseaux associés un miroir de l'activité scientifique. Au-delà de ce fonds commun, une grande diversité de pratiques de publication et de citation se manifeste selon les disciplines ou les types de recherche.

Les méthodes bibliométriques sont transposables mutatis mutandis à toute sortie codifiée du système d'enseignement et de recherche (thèses, contrats de recherche comme les projets européens des programmes cadres). Pour d'autres dimensions de l'activité de recherche (alimentation de bases d'observation, littérature dite grise, travaux d'expertise…), l'accès aux données ou leur faible degré de codification rendent la tâche difficile.

Sommaire

Fondements historiques[modifier | modifier le code]

Article détaillé : Histoire de la scientométrie.

Les racines de la bibliométrie et de la scientométrie remontent au début du XXe siècle, en Europe et l'Amérique du Nord. Jusqu'aux années 1960, elle accompagne les bibliothécaires dans la gestion des collections et la recherche documentaire. Dans la seconde partie du XXe siècle, on assiste à l'établissement d'institutions (Institute for Scientific Information, conseils de recherche, etc.) favorisant la conception d'indicateurs pour la science et donc, le développement de la discipline. Parallèlement, la croissance exponentielle du volume des travaux savants favorise le catalogage et le repérage des ouvrages.

La publication de Little Science, Big Science, du physicien et historien des sciences Derek de Solla Price, contribue fortement à la cristallisation de la discipline bibliométrique dans les années 1960[3]. Cet ouvrage décrit le volume, la vitesse de circulation et l'interaction de l'information scientifique, de même que les propriétés structurales, politiques et sociales de la science[1].

Durant la même période, le chimiste et documentaliste Eugene Garfield développe l’idée d’utiliser les citations présentes dans les articles scientifiques, c’est-à-dire les références faites à d’autres articles, pour lier les articles entre eux[4]. En 1955, il publie un article dans la revue Science, où il propose de mettre au point un index de citations scientifiques, à l'image de ce qui existait déjà dans le domaine juridique aux États-Unis. Joshua Lederberg, un généticien lauréat d'un prix Nobel, se fait promoteur du projet et les National Institutes of Health et National Science Foundation, les bailleurs de fonds. À la fin des années 1950, un prototype est lancé dans le domaine de la génétique puis, en 1960, Garfield fonde un premier index de citations à grande échelle: le Science Citation Index. L'index lancé en 1963 ne couvre que les sciences naturelles et médicales. En 1973 est publié le Social Science Citation Index, suivi du Arts and Humanities Citation Index en 1975. À ces principaux index s'ajouteront plus tard le Conference Proceedings Citation Index en 1990, le Book Citation Index en 2008, le Data Citation Index en 2012, en plus de différents index régionaux.

Entre-temps, en 1978, est lancée la revue Scientometrics - An International Journal for all Quantitative Aspects of the Science of Science, Communication in Science and Science Policy, par le chimiste hongrois Tibor Braun.

En 2004, la création de l'index de citations Scopus par Elsevier mettra fin au monopole du Web of Science, version moderne du Science Citation Index, aujourd'hui commercialisée par Clarivate Analytics.

Fondements théoriques[modifier | modifier le code]

Les régularités statistiques[modifier | modifier le code]

Les premières théories bibliométriques mettent à jour différentes asymétries dans la production savante. Elles renvoient à différentes régularités statistiques qui ont observées empiriquement entre 1926 et 1935 : la loi de Lotka, la loi de Bradford et la loi de Zipf.

  • Selon la loi de Lotka, les systèmes de production et de reconnaissance en sciences suivent une distribution de Pareto, avec 20% des chercheurs qui produisent 20% des publications. Cette loi a été développée par le statisticien Alfred J. Lotka en 1926. Elle permet de comprendre le système de la reconnaissance scientifique.
  • Selon la loi de Bradford, les références suivent une distribution de Pareto, avec 20% des revues qui publient 80% des articles les plus cités. Cette loi a été formulée par le mathématicien et bibliothécaire Samuel C. Bradford en 1934. Elle a comme implication bibliométrique la construction de jeu de données.
  • Selon la loi de Zipf, la fréquence des mots dans un texte suit une distribution de Pareto. Cette loi a été formulée par le linguiste George Kingsley Zipf en 1935. Elle a comme implication bibliométrique la construction de jeu de données et comme implication biblioéconomique, le développement de collections.

Les théories sur les avantages cumulés[modifier | modifier le code]

Un second ensemble de théories bibliométriques rend compte des avantages cumulatifs dans la production savante: l'effet Matthieu, l'attachement préférentiel et l'effet Mathilda.

  • Selon l'effet Mathieu, « la reconnaissance pour une nouvelle découverte [est] plus susceptible d'être accordée aux chercheurs déjà très reconnus qu'à ceux qui [le sont] moins[1] ». Développée par le sociologue des sciences Robert K. Merton en 1968 dans la revue Science, cette théorie a été reprise par Derek de Solla Price en 1976 pour expliquer le processus des avantages cumulatifs à l’œuvre dans le processus de citation.

Plusieurs autres études ont confirmé le rôle des avantages cumulatifs en science: les chercheurs qui sont affiliés à des établissements prestigieux sont plus susceptibles d'être cités (même lorsque l'on contrôle les autres variables sociodémographiques), les articles qui paraissent dans les revues les plus réputées sont cités davantage que ceux qui paraissent dans les revues moins cotées (en tenant compte encore une fois des autres variables), et les chercheurs (de même que les publications) les plus cités sont plus susceptibles de voir leurs citations encore augmenter de manière non linéaire que les moins cités[1].

  • Extension de l'effet Mathieu, la théorie de l'attachement préférentiel a été formulée par les physiciens Albert-Laszlo Barabasi et Réka Albert pour comprendre la croissance et la structure de l'information scientifique.
  • L'effet Mathilda, théorie développée par Margaret Rossiter, renvoie à « la reconnaissance moins importante que reçoivent les femmes pour un travail équivalent[1] » dans le domaine scientifique.

Les théories bourdieusiennes[modifier | modifier le code]

Les théories bourdieusiennes sur le capital fournissent un troisième ensemble de théories bibliométriques. Ainsi que le soulignent Larivière et Sugimoto, « les théories bourdieusiennes sont essentielles pour comprendre l'échange de biens symboliques sur le marché universitaire, où de multiples formes de capital interagissent[1] ». Au nombre de ces formes de capital:

Les théories sémiotiques[modifier | modifier le code]

Enfin, la bibliométrie emprunte certaines théories à la sémiotique.

  • Charles Sanders Peirce, et la relation entre un objet (le signifié) et le signe qui le représente;
  • Paul Wouters;
  • Henry Small, et la théorie des symboles conceptuels.

Définitions et mesures[modifier | modifier le code]

Contribution à la recherche[modifier | modifier le code]

D'un point de vue bibliométrique, la contribution à la recherche se définit et se mesure par l'autorat. Les pratiques d'attribution du statut d'auteur (crédit, responsabilité) varient en fonction de trois facteurs: les disciplines, les spécialisations et les pays. En particulier, les différences disciplinaires s'expriment au travers sciences sociales et les arts et humanités (où la rédaction est la seule contribution qui conduit au statut d'auteur), la physique des hautes énergies (où tous les membres de l'équipe de chercheurs sont mentionnés à titre d'auteur) et les disciplines de laboratoire (où l'ordre d'apparition dans la liste d'auteurs constitue un indicateur de contribution et de statut)[1].

La taxonomie CRediT distingue quatorze formes de contribution différentes: conceptualization, data curation, formal analysis, funding acquisition, investigation, methodology, project administration, resources, software, supervision, validation, visualization, writing (original draft) et writing (review & editing). Elle a été adoptée par différents éditeurs (American Association of Petroleum Geologists, BMJ Open Science, British Psychological Society, Cell Press, Dartmouth Journal Services, De Gruyter Open, Duke University Press, eLife, Elsevier, Evidence Based Communications, F1000 Research, Geological Society of London, Health & Medical Publishing Group, International Centre of Insect Physiology and Ecology, The Journal of Bone & Joint Surgery, KAMJE Press, Lippincott Williams & Wilkins, MA Healthcare, MIT Press, Oman Medical Specialty Board, Oxford University Press, Public Library of Science (Plos), SAE International, SLACK Incorporated, Springer, Springer Publishing Company, Wiley VCH et Wolters Kluwer), une institution (University of Glasgow), quelques intégrateurs (Allen Press/ Peer Track, Aries Systems/ Editorial Manager, Coko Foundation/ xPub et River Valley/ ReView) et points de vente (Gates Open Research, HRB Open Research et Wellcome Open Research).

L'existence de pratiques non éthiques (autorat fantôme, autorat honorifique) témoigne des inégalités dans l'établissement des critères d'autorat (effet Mathieu, effet Mathilda)[1].

Production en recherche[modifier | modifier le code]

Fortement liée aux pratiques d'attribution du statut d'auteur, la production en recherche se définit et se mesure en termes de quantité d'extrants par unités de recherche (individus, groupes, établissements, etc.)[1]. Seuls les articles originaux et les articles de synthèse sont considérés comme des éléments citables du Web of Science, ce qui constitue une limite des indicateurs de production.

Larivière et Sugimoto relèvent trois méthodes de comptage différentes, qui sont fortement corrélés sur le plan macro (en dépit de fortes différences disciplinaires)[1]:

  • le comptage unitaire, qui accorde une unité d'article à chaque entité indiquée dans l'article;
  • le comptage fractionné, qui accorde une fraction de l'unité article à chaque entité indiquée dans l'article;
  • le comptage harmonique, qui suppose que l'ordre d'apparition dans la liste d'auteurs est associé à l'importance de la contribution.

Collaboration en recherche[modifier | modifier le code]

Intimement liée à la production, la collaboration en recherche se définit et se mesure à partir des relations de co-autorat (co-signatures) et ce, à différents niveaux d'agrégation. Il existe deux groupes d'indicateurs de collaboration: ceux basés sur la proportion d'articles associés à plus d'une unité, d'une part, et ceux basés sur des moyennes ou des médianes, d'autre part. Ce dernier groupe d'indicateurs permet de rendre compte de la taille des équipes (nombre moyen/médian d'auteurs pour un ensemble d'articles) ou du caractère international des équipes de recherche (nombre moyen/médian de pays par article).

D'un point de vue bibliométrique, aucune distinction n'est faite entre collaboration et coaffiliation.

Larivière et Sugimoto observent que les pratiques de collaboration sont en hausse dans tous les domaines de la science[1]. Ils associent moins cette hausse à une augmentation absolue de la collaboration qu'à un changement dans les pratiques de reconnaissance du travail scientifique et de la responsabilité associée.

Interdisciplinarité[modifier | modifier le code]

La définition et la mesure de l'interdisciplinarité repose sur les classifications disciplinaires. Les indicateurs sont fondés sur les pratiques de collaboration entre unités disciplinaires (chaque auteur étant associé à une discipline), d'une part, et les références et citations (chaque document faisant référence à des documents publiés dans d'autres disciplines ou étant cité par des documents publiés dans d'autres disciplines), d'autre part.

L'interdisciplinarité reste un concept difficile à mesurer et les données sont relativement indisponibles, particulièrement en sciences sociales et humanités[1].

Impact de la recherche[modifier | modifier le code]

L'impact de la recherche est défini et mesuré à partir des citations, bien que le fait pour un article d'être hautement cité dise peu de choses quant à sa qualité (actualité du sujet, utilité pour un vaste public, etc.)[1]. Cette idée se base notamment sur la sociologie structuro-fonctionnaliste de Merton, qui caractérise la science du point de vue de son universalisme, sa justice et son auto-régulation[réf. souhaitée]. Dans ce champ et cette communauté, les scientifiques « qui ont le mieux rempli leur rôle » sont récompensés (reward system) en étant reconnus, et donc cités, par leurs pairs.

Cette vision du rôle clef des citations se retrouve aussi, avec une interprétation opposée, chez le sociologue des sciences Bruno Latour, qui met l’accent sur les stratégies rhétoriques de l’écriture scientifique et le rôle central des citations venant appuyer et confirmer le discours :

« La présence ou l’absence de références, de citations et de notes de bas de page est un signe si sûr du sérieux d’un texte que l’on peut en partie transformer un fait en fiction ou une fiction en fait simplement en retranchant ou en ajoutant des références[5]. »

Dans ces deux visions, les versions mertoniennes et latouriennes, mais aussi dans la vision communément admise de la science, celle-ci fonctionne en réseau, lequel passe par les citations et références qui permettent de relier les articles entre eux et par là, les chercheurs, les programmes, les institutions.

Ces explications viennent légitimer le constat du fondateur du Science Citation Index, Eugene Garfield :

« Presque tous les articles, notes, revues, corrections et correspondances publiés dans les journaux scientifiques contiennent des citations. Ils citent (généralement par titre, auteur, date et lieu de publication) les documents qui soutiennent, précèdent, illustrent ou élaborent ce que l’auteur a à dire[6]. »

L'analyse de citations entre revues[7] a également inspiré l’algorithme du moteur de recherche Google, le PageRank[8](basé sur les liens hypertextes reliant les pages web), lequel sert aujourd’hui aux classements d’impact des institutions de recherche sur Internet, comme le Ranking Web of World Universities.

Aujourd’hui, d’autres indicateurs d’influence se développent à partir de l’usage qui est fait des articles (nombre de consultations ou de téléchargements). Cette notion d’usage (manifestation d'intérêt) est sensiblement différente de celle d’impact ou d’influence qui est aujourd'hui au centre de l’attention. La notion de reconnaissance émerge également comme alternative[9].

Toute mesure de citation suppose des choix méthodologiques :

  • le cadre temporel de calcul : décompte par année citante, année citée, période synchrone ; fenêtre temporelle de citation : longueur de la période où l'on dénombre les citations après la parution de l'article - avec des compromis inévitables entre l'intérêt d'une fenêtre maximale, notamment pour les disciplines lentes, et les impératifs d'une mesure raisonnablement rapide.
  • le mode de comptage pour les citations aux publications en cosignatures, avec des choix analogues à ceux rencontrés pour le dénombrement des publications.
  • la normalisation (par discipline, par exemple) des indicateurs dérivés.

Larivière et Sugimoto identifient trois limites à la mesure de l'impact de la recherche à partir des citations:

  • La citation indique davantage une utilisation qu'un impact;
  • L'interprétation des mesures de citations n'est valide qu'à grande échelle;
  • L'interprétation des mesures de citations n'est valide que dans les disciplines dont la nature est cumulative, c'est-à-dire dans les sciences pures et appliquées.

Il existe des mesures alternatives aux citations, qui sont appelées « altmetrics ». Ces mesures prétendent quantifier l'impact social de la recherche, bien qu'elles proposerait un amalgame entre impact et attention[1].

Indicateurs[modifier | modifier le code]

Indicateurs de production[modifier | modifier le code]

Dans la plupart des sciences biomédicales et physiques, les chercheurs communiquent les résultats de leur travail par des articles dans des revues scientifiques et certains y voient « le but essentiel de leur activité »[10]. La mesure du nombre d’articles publiés constitue donc souvent le premier indice de production. Si l'article est un moyen de communication central dans les sciences dures, d'autres disciplines privilégient d'autres modes de production : les communications en conférence (proceedings) en informatique, les ouvrages ou chapitres d'ouvrage dans plusieurs disciplines des sciences humaines et sociales. Enfin, en technologie et développement, le marqueur d'invention qu'est le brevet, à la fois titre juridique, outil stratégique et support d'information, présente de nombreuses analogies formelles avec l'article scientifique, permettant, avec prudence, la transposition des outils bibliométriques[11]. Aux niveaux meso et macro, le nombre de doctorats délivrés est également une mesure intéressante de l’activité des institutions.

Ces différents types de publications (outputs) sont toutefois plus ou moins accessibles et faciles à traiter. Si les articles publiés dans des revues scientifiques sélectionnées sont systématiquement référencés dans les bases de données Web of Science ou Scopus, le référencement des livres pose plus de difficultés. Des progrès sont en cours autant pour les ouvrages que pour les communications de conférence, sur fond de processus de numérisation des fonds académique et de concurrence entre fournisseurs de données.

De même, il est nécessaire de définir en pratique ce qui relève de la production scientifique, ce qui comporte toujours une part d’arbitraire. Contrairement aux brevets d'invention par exemple, il n'existe pas de définition formelle de ce qu'est un périodique ou un article « scientifique ». L'analyse bibliométrique est confrontée en permanence au calibrage des bases de données, aux questions de classement des revues, à la définition de périmètres de corpus satisfaisants à défaut d'être optimaux, en fonction des objectifs (recherche d'une couverture exhaustive ou comparaison internationale impliquant comparabilité et sélectivité, etc.).

Le dénombrement d'outputs pour un type de production donné et dans un périmètre donné suppose des règles pour les articles en cosignature d'une part, pour les articles ou revues en multi-assignation disciplinaire d'autre part (selon la structure des bases de données). Il existe une grande variété de modes de comptage, dont les plus usuels sont le compte de présence et le compte fractionnaire, qui peuvent conduire, en particulier à l'échelle « micro », à des différences sensibles. Il n'y a pas de « meilleure solution », le choix dépendant des propriétés recherchées et des points de vue adoptés. Il faut être attentif au choix de producteurs d'indicateurs qui présentent parfois des produits avec des systèmes de comptage peu satisfaisants, notamment la sélection d'une institution unique dans une ligne d'affiliation.

Les indicateurs classiques sont les mesures de volume, de « parts de marché » sur une référence donnée (nationale, mondiale…). Pour les acteurs institutionnels ou territoriaux, la production, mesure de puissance brute, doit être complétée par des mesures rapportées à l'article (citations par article ou impact), ou par des mesures de « productivité », rapportant la production aux entrées, les ressources humaines ou économiques. Mais la productivité scientifique est extrêmement délicate à estimer, en raison notamment des difficultés méthodologiques, à toutes les échelles, pour mesurer les entrées[12] .

Pour les unités à forte diversité, par exemple les grandes institutions de recherche ou les universités, la répartition de la production entre domaines d'activité est un aspect important, mesurable par des indices classiques de spécialisation par thème ou de concentration de l'activité. Ces caractéristiques du spectre d'activité à diverses échelles permettent des analyses de comparaison spécialisation-visibilité, de complémentarité entre acteurs, etc.

Indicateurs d'impact[modifier | modifier le code]

Le facteur d'impact[modifier | modifier le code]

Article détaillé : Facteur d'impact.

Le facteur d’impact (FI) est une mesure de l'impact moyen des articles parus dans une revue : il calcule le nombre total de citations reçues, pendant une année de référence, par les articles parus dans une revue donnée dans les deux années précédentes, puis il divise ce résultat par le nombre d'articles parus au cours de ces deux années[1]. Cet indicateur est la propriété de Thomson Reuters, qui le calcule chaque année depuis plusieurs décennies pour plus de 5 000 revues scientifiques de la base Science Citation Index. D'abord réservé aux analyses des revues seulement, « il en est venu à mesurer la valeur du chercheur plutôt que de la revue : plus le facteur d’impact du périodique est élevé, plus le capital universitaire du chercheur qui y publie s’accroit[1] ».

Larivière et Sugimoto ont soulevé quatre limites du FI :

  • Le numérateur inclut les éléments citables et non citables, tandis que le dénominateur ne retient que les éléments citables. Cette asymétrie a pour conséquence d'exagérer le FI des revues qui publient beaucoup d'éléments non citables. Le CiteScore, développé en 2016 par Elsevier, répond à cette critique;
  • Les différences disciplinaires;
  • L'étroitesse de la fenêtre de citation. Le Journal Citation Report fournit un FI basé sur une fenêtre de citation de cinq ans pour pallier ce problème;
  • Le calcul de la moyenne est difficile à interpréter à l'échelle des articles.

Le facteur d'impact, jalon historique de la scientométrie, a bénéficié d'un relatif monopole dans l'usage des mesures de la science jusqu'au début des années 2000, avant qu'une prolifération d'alternatives ne soient popularisées[13].

Le CiteScore[modifier | modifier le code]

Développé en 2016 par Elsevier, le CiteScore est un également un indicateur d'impact pour les revues.

« On obtient le résultat CiteScore d’une revue pour 2015, disons, en additionnant le nombre total de citations reçues en 2015 par tous les documents publiés dans cette revue entre 2012-2014, et en divisant ce nombre par celui de tous les documents publiés dans la revue pendant la même période[1] ».

Le score Eigenfactor[modifier | modifier le code]

Développé par l'expert en science des données Jevin West et le biologiste Carl Bergstrom, le score Eigenfactor sert à mesurer l'importance d'une revue. Il le fait en accordant plus de poids à une citation provenant d'une source centrale qu'à une citation provenant d'une source plus périphérique[1]. Exprimé en pourcentage, « plus le score Eigenfactor est élevé, plus l’importance de la revue dans le réseau est élévée[1] ». La fenêtre de citation est de cinq ans.

Le score Eigenfactor sert aujourd'hui au classement des auteurs, des départements, des universités et des pays.

Le Source Normalized Impact per Paper[modifier | modifier le code]

Mis au point par le scientomètre Henk Moed, le Source Normalized Impact per Paper (SNIP) est un indicateur de citations des revues qui adopte la perspective du document citant (et non celle du document cité)[1]. La fenêtre de citation est de trois ans. Les autocitations sont incluses.

Le SCImago Journal Rank[modifier | modifier le code]

Le SCImago Journal Rank (SJR) mesure les liens de proximité entre les revues à partir de leurs relations de cocitations. L'indicateur a été développé par Félix de Moya-Anegon et Vicente Guerrero-Bote.

Autres indicateurs d'impact[modifier | modifier le code]

Quelques indicateurs classiques sont :

  • les volumes et parts de citation sur un espace donné (par exemple parts mondiales)
  • les statistiques fondées sur une valeur centrale (p.ex. moyenne des citations par article)
  • les impacts relatifs (normalisés typiquement par la moyenne du champ disciplinaire)
  • la décomposition de l'impact en visibilité espérée (analogue à un facteur d'impact de l'unité considérée, reflétant la concurrence pour l'accès aux revues) et en visibilité relative par revue (ratio de citation relative) reflétant la concurrence à l'intérieur des revues
  • les mesures sur profils de citation à toutes les échelles, analysant les distributions relatives pour un acteur et une référence
  • la famille récente et prolifique des indices composites, dont le plus couru est le h-index
  • les mesures de dépendance ou d'influence scientifique

Ces indicateurs ont des propriétés très différentes, par exemple leur sensibilité aux queues de distribution ou le type de normalisation pratiqué. La diversité des disciplines ou des types de recherche oblige à rechercher, dans toute la mesure du possible, les conditions d'une comparabilité entre données de citation issues de contextes différents. La question de la normalisation/standardisation par champ ou pratique de recherche est centrale. La normalisation des impacts par champ est donc une préoccupation apparue dans le sillage des premiers indicateurs de citation, dans les années 1970, par exemple chez Murugesan et Moravcsik[14]. On distingue aujourd'hui trois types d'approche pour rendre les mesures plus comparables entre champs de recherche :

L'approche classique consiste à normaliser ex post une mesure de citation, par des méthodes cardinales (ratio à une valeur centrale comme la moyenne du champ, standardisation) ou ordinales (percentiles définis par champ). Il existe une littérature considérable sur le sujet, qu'il s'agisse du niveau revues (facteurs d'impact normalisés) ou du niveau acteurs. En général, ces mesures sont dépendantes de nomenclatures disciplinaires, par exemple les « subject categories » du Web of Science, ou de plans de classement. Les préoccupations de normalisation sont présentes dans les textes classiques de bibliométrie (Narin, 1976, Braun 1985, voir bibliographie ; Schubert et Braun 1996[15]), avec de nombreuses applications au niveau revues (un des premiers facteurs d'impact normalisés : Sen 1992[16]).

Certains types de « mesures d'influence » qui renouvellent le travail pionnier précité de Pinski et Narin, par exemple l'Eigen Factor des revues développé par Bergstrom[17], intègrent un autre type de normalisation, du côté des citations émises (référencement) et non des citations reçues. Cette normalisation est mêlée, dans ce cas, aux pondérations en chaîne des revues émettrices en fonction de leur propre visibilité.

Analysant la dépendance par rapport au niveau de généralité des ensembles pris comme référence, d'autres auteurs[18] ont suggéré l'intérêt d'une pondération côté citant, sans introduire de chaînes d'influence, ce qui a abouti au développement expérimental d'un facteur d'impact pondéré, le « facteur d'audience »[19]. Cet indicateur égalise dans une large mesure les niveaux entre spécialités ou disciplines et inclut une correction pour l'immédiateté des citations. Dans ce sillon, le SNIP (Source Normalized Impact per Paper)[20] a été implémenté par Scopus. Cette mesure, comme le facteur d'audience, est indépendante du découpage disciplinaire. Le principe de normalisation côté citant peut être étendu, comme les mesures d'influence, à l'ensemble des techniques de citation.

Indicateur composite[modifier | modifier le code]

L'indice h[modifier | modifier le code]

Article détaillé : Indice h.

En 2005, Jorge Hirsch, un physicien, a proposé l’indice h comme indicateur composite de la productivité et de l'impact scientifique. Un chercheur aura un h-index égal à N s’il a publié au moins N articles cités au moins N fois. Cette définition donne un faible indice aux chercheurs qui publient énormément d’articles, mais ne sont presque jamais cités ainsi qu’aux chercheurs qui ont publié de manière exceptionnelle un article extrêmement cité. En conséquence, l’indice h d’un chercheur ne peut jamais diminuer, même si sa production a chuté ou s’est arrêtée.

Selon Yves Gingras, l’indice h a peu d’utilité au niveau individuel, car « il est en fait fortement corrélé au nombre total d’articles et est ainsi redondant[21]». Il note toutefois que son utilisation de plus en plus courante (il est intégré aux bases de données bibliométriques) est avant tout le fait des chercheurs eux-mêmes.

Larivière et Sugimoto soulignent trois inconvénients à cet indicateur :

  • il fait de la publication la variable dominante du calcul;
  • il est sujet à des distorsions;
  • il n'a pas de concept sous-jacent[1].

L'indice présente l'avantage, contrairement aux impacts moyens, d'être insensible aux articles peu cités dans la production d'un auteur. D'autres indices de la famille (g-index, e-index) conservent cette caractéristique du h-index tout en introduisant une sensibilité au score de citation des articles les plus visibles. Un inconvénient de ces mesures est leur normalisation disciplinaire délicate, aussi bien en pratique que dans le principe même, étant donné le caractère quelque peu numérologique de l'approche[réf. nécessaire].

Sources de données[modifier | modifier le code]

Les indicateurs bibliométriques (unités quantifiables) sont construits à partir de sources de données diversifiées, divisées en deux catégories:

  • Les indicateurs d'intrants, à partir des rapports de l'Organisation de coopération et de développement économiques (OCDE) ou de grands organismes nationaux;
  • Les indicateurs d'extrants et d'impact, à partir de bases de données bibliographiques dans lesquelles il est possible d'établir des liens entre le documents indexés (index de citations)

La bibliométrie peut compter sur l'existence de deux index de citations principaux, le Web of Science et Scopus, aux côtés de Google Scholar et des sources de données alternatives (WorldCat, Plum Analytics, Altmetric).

Web of Science[modifier | modifier le code]

L’Institute for Scientific Information (ISI) créé en 1960 par Eugene Garfield a été acquis par Thomson Scientific & Healthcare en 1992 et a porté le nom de Thomson ISI. À la suite de la fusion avec Reuters en 2008, la compagnie fait maintenant partie de la Thomson Reuters Corporation.

L’ISI a développé son activité autour de sept bases de données de publications scientifiques et de leurs citations. Les trois premières recensent les articles et leurs citations : Science Citation Index (SCI), Social Sciences Citation Index (SSCI) et Arts and Humanities Citation Index (A&HCI). Ensemble, ce sont plus de 9 700 revues qui sont entièrement couverts, dont 70 % situés en sciences naturelles, et autant qui sont partiellement couverts[22]. Les citations remontent à 1900. Les critères de sélections des revues sont assez restrictifs et se basent sur le nombre de citations reçues. De par ses critères de sélection, ces bases de données ont un fort biais anglophone.

Les actes de conférences sont couverts par deux bases de données : Conference Proceedings Citation Index - Science (CPCI-S) et Conference Proceedings Citation Index - Social Sciences & Humanities (CPCI-SSH). Enfin, deux bases de données sont consacrées à la chimie : Index Chemicus (IC), Current Chemical Reactions (CCR-Expanded).

ISI a développé de nombreux produits destinés à l’exploitation de ses bases de données :

  • Web of Science : interface web qui permet d’analyser les citations d’une personne, d’un groupe, d’un article ou d’un journal,
  • Journal Citation Report : classement des journaux par facteur d'impact, différentes métriques sur les journaux,
  • Essential Science Indicators et ScienceWatch : classements d’institutions, d’auteurs, de pays ou de journaux, liste des articles les plus cités, liste des sujets les plus « chauds », etc.
  • InCites : outils de benchmarking à l’usage des institutions,
  • ResearcherID : un numéro unique par auteur, pour distinguer les travaux de personnes ayant une homonymie ou pour suivre le travail d’une personne ayant changé de nom.

Scopus[modifier | modifier le code]

Article détaillé : Scopus (Elsevier).

L’éditeur Elsevier a lancé, en 2004, une base de données concurrente à celle d’ISI, sous le nom de Scopus. Celle-ci a rapidement rattrapé son retard et référence maintenant 16 500 revues scientifiques (y compris plus d’un millier en accès libre), 600 publications industrielles, 350 collections d’ouvrages, ainsi que plusieurs millions d'actes de conférences[23]. Les citations remontent à 1996 seulement pour la moitié des articles référencés. Par rapport à ses compétiteurs, Scopus offre une plus grande couverture des Sciences Humaines et Sociales et des revues non anglophones[24].

Elsevier a développé deux produits destinés à l’exploitation de ses bases de données :

  • Scopus.com : interface web qui permet d’analyser les citations d’une personne, d’un groupe, d’un article ou d’un journal;
  • SciVal Spotlight : outils de benchmarking (analyse comparative) à l’usage des institutions.

Par ailleurs, en se basant sur Scopus, SCImago Journal Rank ou eigenfactor.org sont des sites web libres d’accès qui permettent de classer des journaux ou des pays.

Google Scholar[modifier | modifier le code]

Article détaillé : Google Scholar.

Filiale du géant Google, et basé sur le même principe, Google Scholar a été lancé en version beta à la fin de l'année 2004 et référence les articles scientifiques. D’accès libre, Google Scholar semble plus complet que ses compétiteurs mais il est actuellement impossible de savoir ce qui est inclus ou non dans cette base de données. De nombreuses erreurs ou doublons ont été relevés.

À partir de Google Scholar, l'outil bilbiométrique Publish or Perish permet de calculer quelques indicateurs bibliométriques par auteur, revue ou article. Il existe également une extension au navigateur Firefox qui a des fonctions relativement identiques : Tenurometer.

Autres bases de données bibliométriques[modifier | modifier le code]

Article détaillé : Base de données bibliographiques.

D’autres bases de données[25], souvent financées par de l’argent public et libre d'accès, sont souvent utilisées dans des domaines spécialisés :

  • SPIRES pour la physique,
  • MEDLINE pour les sciences de la vie et les sciences biomédicales,
  • CiteSeerX pour l’informatique et les sciences de l'information.

Applications[modifier | modifier le code]

La bibliométrie gagne de l’importance sous l’effet de plusieurs facteurs : la disponibilité de base de données de plus en plus complètes, l’utilisation accrue des outils de management dans l’administration de la recherche, la mondialisation du « marché » de l’enseignement supérieur. Elle se répand également sous l'effet d'un accès généralisé aux données de citation, notamment via Google Scholar, et la mise à disposition d'outils bibliométriques d'apparence très simple, comme Publish or Perish, développé par Ann-Will Harzing.

Évaluation de la recherche[modifier | modifier le code]

Elle est utilisée par les organismes finançant la recherche comme outil d’évaluation et comme aide à la décision en ce qui concerne les politiques de recherche.

Gouvernance de l'enseignement supérieur[modifier | modifier le code]

La bibliométrie est utilisée par les universités ou les gouvernements pour déterminer leurs forces et faiblesses dans le domaine de la recherche et orienter ainsi leurs actions.

« Les liens que tissent la statistique avec la politique sont multiples. Ils vont de la compréhension des phénomènes sur lesquels on veut intervenir (théorique) à l'évaluation des actions gouvernementales (pratique), sans oublier la promotion des efforts nationaux (symbolique)[26]. »

Les classements d'universités[modifier | modifier le code]

L'Université Jiao-tong de Shanghai, l'une des institutions dressant des classements universitaires
Article détaillé : palmarès universitaires.

S’appuyant sur un ou plusieurs des indicateurs énoncés auparavant, les classements d’universités sont sans doute l’application la plus visible de la bibliométrie. Les deux classements internationaux les plus célèbres sont :

La sociologie des sciences[modifier | modifier le code]

La bibliométrie est utilisée par les sociologues des sciences pour étudier l’activité des scientifiques, l’apparition et l’autonomisation de disciplines, l’importance temporelle de certains champs ou encore les liens que différentes disciplines tissent entre elles.

L'évaluation individuelle des chercheurs[modifier | modifier le code]

La bibliométrie est parfois utilisée pour l'évaluation individuelle des chercheurs. Cet usage est très controversé (cf. ci-dessous) compte tenu de l'imperfection des indicateurs et des enjeux d'un tel exercice. L'académie des Sciences française a émis un certain nombre de recommandations à cet effet[27] :

« Recommandation n° 1 : L’utilisation des indicateurs bibliométriques pour l’évaluation individuelle n’a de valeur que si l’on respecte certaines conditions majeures : L’évaluation doit porter sur les articles et non sur les revues ; La qualité des données, la normalisation, la significativité des écarts et la robustesse des indicateurs doivent être validées ; L’évaluation bibliométrique doit ne comparer entre elles que des personnes de la même communauté disciplinaire, pendant tout leur parcours ; Les utilisateurs de la bibliométrie doivent être capables de s'en expliquer […]

Recommandation n° 2 : La bibliométrie ne peut pas se résumer à des nombres, mais doit être accompagnée d’un examen approfondi des données bibliométriques et bibliographiques, et si possible des articles eux-mêmes.

Recommandation n° 3 : Les indices bibliométriques ne peuvent pas être utilisés de la même façon selon l’objet de l’évaluation: recrutements, promotions, contrats, distinctions, etc.

Recommandation n° 4 : Il faut tenir le plus grand compte, lorsque cela est possible, de la place et de la contribution de l’auteur dans l’article considéré.

Recommandation n° 5 : L’évaluation bibliométrique doit être l’objet de recherche pour en améliorer la valeur. La France doit participer à cette réflexion. »

Critiques[modifier | modifier le code]

Critique des indicateurs quantitatifs[modifier | modifier le code]

Certaines des personnes qui élaborent les indicateurs décrits ci-dessus en soulignent les limites. Par exemple, les auteurs du classement de Shanghai concèdent l’existence d’un biais en faveur des pays anglophones et des institutions de grande taille, ainsi que les difficultés à définir des indicateurs adéquats pour classer les universités spécialisées dans les sciences sociales[28]. Le rapport de l’Institut national de recherche en informatique et en automatique (INRIA) sur le sujet considère que les critères bibliométriques, quantitatifs, ne sauraient remplacer l’évaluation par les pairs, qualitative, et souligne un certain nombre d’effets pervers de ces indicateurs dès lors qu’on leur accorde trop d'importance :

« Si les indicateurs peuvent donner des tendances sur un nombre réduit d’aspects de la vie scientifique, il convient d’être très circonspect dans leur usage en raison de la possibilité d’interprétations erronées, des erreurs de mesure (souvent considérables) et des biais dont ils sont affectés. Un usage abusif des indicateurs est facilité par la nature chiffrée du résultat qui introduit la possibilité d’établir dans l’urgence toutes sortes de statistiques, sans se préoccuper d’en analyser la qualité et le contenu, et en occultant l’examen d’autres éléments de la vie scientifique comme, par exemple, l’innovation et le transfert intellectuel et industriel.

Les constatations et les recommandations les plus importantes sont les suivantes :

  1. on pourra constater que les erreurs de mesure dans la recherche de citations sont très importantes (…). Nous recommandons donc fortement de multiplier les sources, de faire une analyse critique des résultats (en particulier en faisant appel à des experts des domaines) et de s’attacher, au plus, aux ordres de grandeur des indicateurs.
  2. nous recommandons d’utiliser la littérature bibliométrique pour cerner la signification réelle des indicateurs et leur biais.
  3. les indicateurs ne donnent qu’une vue partielle et biaisée de certains aspects de la vie scientifique, sans en recouvrir l’ensemble. Ils doivent donc être complétés, corrigés et commentés par des spécialistes du domaine scientifique et interprétés s’ils sont utilisés dans le cadre d’une évaluation ou d’une prise de décision.
  4. nous recommandons de ne jamais utiliser des indicateurs pour effectuer des comparaisons entre domaines scientifiques différents.
  5. le principe des indicateurs reposant sur une analyse des citations est peu favorable à la prise de risques scientifiques et à l’innovation. Une utilisation abusive (voire pire, automatisée) serait un frein majeur à l’innovation.
  6. les indicateurs chiffrés sont très facilement manipulables par les individus, les institutions et d’autres acteurs de la vie scientifique (comme les journaux). Le nombre de manipulations augmentent, ce que l’on peut corréler à l’effet croissant de l’influence des indicateurs[29]. »

Les recommandations ci-dessus sont partagées par de nombreux professionnels de la bibliométrie. Toutefois, l'absence de comparabilité entre domaines ne doit pas être exagérée, compte tenu des possibilités de normalisation, et en particulier pour les disciplines qui partagent un même mode majeur de production (par exemple l'article). Les comparaisons sont plus délicates en présence de modes de production différents, et sont naturellement conditionnées par l'accessibilité de données représentatives sur ces modes de production (problématique pour une grande partie des SHS).

Les indicateurs quantitatifs peuvent être affectés par des biais culturels, notamment dans la façon dont les chercheurs d'une culture citent des chercheurs d'une même culture[30] (scientifiques chinois qui citent les chinois etc.)

Le risque le plus grand est certainement - c'est l'envers de l'extrême adaptabilité du monde de la recherche - la pression à la conformité avec un système de mesure ou de récompense figé et inadéquat, dont la forme la plus naïve est le financement à la publication. Les défis et perspectives sont abondamment discutés dans la littérature, qu'il s'agisse de bibliométrie-scientométrie[31],[32],[33],[34], ou d'indicateurs[35].

Critique de l'évaluation individuelle des chercheurs par la bibliométrie[modifier | modifier le code]

Cohérence des indicateurs[modifier | modifier le code]

De plus en plus utilisés pour évaluer les chercheurs, en contradiction avec la pensée du père fondateur Derek de Solla Price qui insistait sur le caractère statistique de ces approches, les indicateurs quantitatifs se heurtent à une forte critique due à leur manque de cohérence lorsqu’ils sont appliqués au niveau individuel. Le fait qu’un même chercheur puisse recevoir des mesures d’impact différentes selon les indicateurs et les bases de données bibliographiques utilisés[36] pose de nombreux problèmes quant à leur utilisation et à la définition d’une norme de qualité.

Contributions importantes non détectées[modifier | modifier le code]

D'autres critiques de la bibliométrie mettent parfois en avant une grande variabilité du nombre de publications chez les scientifiques réputés. Des scientifiques de premier plan comme Albert Einstein ou Louis de Broglie n’auraient, dans l’ensemble, que peu publié, malgré leur influence considérable sur la science. Ceci viendrait démontrer le peu de fiabilité des indicateurs bibliométriques. Malheureusement, ces critiques s’appuient rarement sur des chiffres pourtant vérifiables : concernant Einstein, « voici ce que dit le ISI web of knowledge : Environ 160 articles, h-index = 49, nombre de citations proche des 20 000.»[37]. La bonne pratique en scientométrie suppose la connaissance des propriétés de chaque mesure et ne s'appuie pas sur un seul indicateur, aussi composite qu'il soit.

La situation est évidemment plus compliquée dans les sciences humaines et sociales. Par exemple, selon le philosophe Olivier Boulnois, « sur les quatre tomes des Dits et Écrits de Michel Foucault, il n’y a peut-être pas cinq articles publiés dans des revues classées A… »[38]. Cette critique montre que la mesure de la science doit suivre au plus près les pratiques de recherche et publications scientifiques et évoluer avec elles (les exemples donnés ici appartiennent en effet à un contexte scientifique différent de celui d’aujourd'hui).

Dans le même ordre d'idées, il existe des articles qui sont très peu cités pendant une période de plus de 10 ans et qui deviennent très cités des années plus tard. Appelés « sleeping beauties » (beautés dormantes), ces articles sont souvent des contributions visionnaires de certains scientifiques, passés relativement inaperçus lors de leur publication parce que le champ scientifique n'était pas suffisamment mûr pour apprécier ces travaux. L'existence de ces « sleeping beauties » remet en cause l'usage des citations pour l'évaluation individuelle. Il faut toutefois relativiser leur nombre et leur impact sur les indicateurs bibliométriques puisqu'ils ne représentent qu'entre 0,01 et 0,1 % des articles publiés[39].

Opposition avec l'évaluation par les pairs[modifier | modifier le code]

Une des critiques les plus paradoxales vient peut-être de Laurence Coutrot, qui rappelle les processus de filtrage successifs nécessaires avant la publication d’un article, processus de filtrage qui passent par l’évaluation par les pairs (comités de revues, etc.): « une fraction variable de ces manuscrits arrive à publication, un sur dix ou un sur vingt, parfois moins. Enfin, un article publié peut, par une série de processus sociaux que l’on connaît fort mal, parvenir à être cité. La citation est une mesure raisonnable de la visibilité d’un résultat scientifique. Quand bien même l’on voudrait départager les chercheurs qui travaillent de ceux qui « ne travaillent pas » (à supposer que cette expression ait un sens), le critère de citation est une mesure bien rustique. Sous des parures d’objectivité, cet indicateur réintroduit en fait ce qu’il prétendait éliminer ; c’est-à-dire, le jugement par les pairs. »[36]

En réalité, la bonne pratique en bibliométrie/scientométrie ne conteste en aucune manière le jugement par les pairs. Elle assume le rôle de miroir de la bibliométrie, qui reflète l'agrégation des micro-décisions de jugement entre pairs (celle de citer est un acte important), mais ne prétend nullement faire de cette agrégation une approche exclusive. Inversement, le jugement par les pairs au sens conventionnel, dans ses multiples formes, est influencé par les informations bibliométriques (à commencer par le facteur d'impact…) surtout à l'ère des bases bibliographiques/bibliométriques en ligne. Le jugement par les pairs n'est naturellement pas à l'abri de dérives, notamment en situation d'évaluation ou d'expertise par jurys ou commissions (biais de spécialisation, effets de groupe, conflits d'intérêts…). Il y a donc une porosité entre les deux mondes, chacun présentant des forces et des faiblesses, et une évidente complémentarité.

Les multiples facettes du métier de chercheur[modifier | modifier le code]

Par ailleurs, la bibliométrie ne peut prétendre qu’à l’analyse d’une des facettes du métier de chercheur. Elle laisse de côté l’enseignement, la vulgarisation, les services à la cité, la valorisation ou encore les services à la communauté (participation à des jurys, à des comités de lecture, etc.). De nombreux facteurs peuvent donc expliquer un faible nombre de publications. Par exemple, un chercheur qui travaille beaucoup dans le cadre de contrats en relation avec des industriels peut avoir du mal à publier autant qu’il le souhaiterait pour des raisons de confidentialité.

Effets néfastes de l'évaluation individuelle par la bibliométrie[modifier | modifier le code]

La bibliométrie incite les chercheurs à publier plus, selon le principe publish or perish. Le risque est ici que les chercheurs se préoccupent plus d’étoffer leur palmarès de publications (qui détermine leur carrière : possibilités de promotion, mais aussi, dans certains cas, paye ou continuité de leur emploi) que de réaliser des travaux scientifiquement intéressants.

On constate alors diverses dérives dues au désir d’augmenter le nombre de publications, par exemple:

  • le psittacisme : le chercheur publie la même idée dans plusieurs « papiers », profitant du fait que les évaluateurs des différentes publications n’ont pas lu leurs travaux précédents;
  • le saucissonnage (salami effect) : la même idée est découpée en plusieurs tranches, chacune publiée séparément[36],[29],
  • l’auto-citation malicieuse[29],
  • le frein à la prise de risque et la pénalisation de la recherche de pointe[29],[40].

Comme toute technique de mesure, la bibliométrie devient sujette à manipulation, d’autant plus facilement que son fonctionnement est connu.

Critique du facteur d'impact[modifier | modifier le code]

Article détaillé : Facteur d'impact.

L’usage du « facteur d’impact » des revues pour l’évaluation de la qualité des articles et des chercheurs est très sujet à caution.

Si le facteur d’impact est censé mesurer l’importance d’une revue pour la communauté scientifique, il est erroné de conclure qu’un article publié dans une revue à fort facteur d’impact est forcément de meilleure qualité qu’un papier dans une revue à facteur d’impact plus faible. Étant donné la distribution très asymétrique des citations, le facteur d’impact (qui est une valeur moyenne) d’une revue est un mauvais prédicteur du nombre de citations que recevra un article publié dans cette revue.

D’autre part, le facteur d’impact, comme tout indicateur basé sur les citations, dépend énormément des habitudes de référencement. La dépendance à la taille du champ n'est pas mécanique, au moins pour la valeur moyenne de l'impact. L'immédiateté des citations joue aussi un grand rôle : la longue demi-vie des citations en mathématiques désavantage fortement les revues de cette discipline par rapport à d’autres où les citations se font beaucoup plus rapidement. Des normalisations adaptées permettent de compenser, ou de réduire, ces effets. Le facteur d'impact proprement dit est typique des revues, et n'est pas accessible pour d'autres supports. En informatique, les comptes rendus de conférence prennent une grande importance. Dans le champ des sciences humaines et sociales, les articles recensant des ouvrages font l’objet d'un plus grand nombre de citations référencées que les ouvrages eux-mêmes.

Par ailleurs, la politique éditoriale de certaines revues renommés (comme Science ou Nature) met en jeu des critères extra-scientifiques, comme le côté « sensationnel » d’une publication. L’usage du nombre de citations favorise les publications « dans l’air du temps ». D’une manière générale, une revue consacrée à des sujets originaux ou émergents mais qui ne seraient pas « à la mode » est défavorisé par la fenêtre de mesure de deux ans[40]. Thomson Reuters met désormais à disposition une mesure sur une fenêtre plus longue.

Enfin, de nombreuses revues ont été accusées de gonfler artificiellement leur facteur d’impact, en augmentant le nombre de recensions ou encore en incitant fortement leurs auteurs à citer d’autres articles de la même revue. Thomson Reuters repère toutefois les cas les plus flagrants de manipulation et exclut les revues concernés de sa liste[41].

Notons que l'apparition d'autres mesures de notoriété des revues (mesures d'influence, facteur d'audience/ SNIP), même lorsqu'elles demeurent assez corrélées au facteur d'impact et au facteur d'impact normalisé par champ, montre des différences suffisantes pour en relativiser le dogme. La littérature spécialisée présente des analyses approfondies des facteurs d'impact[42],[43]. Surtout, il n'est plus possible, dans une approche moderne de la bibliométrie, de se limiter aux mesures d'impact dans les applications évaluatives.

Critique du coût[modifier | modifier le code]

Le coût d’accès aux outils payants est élevé et varie d’une institution à l’autre en fonction du nombre d’utilisateurs ou du nombre d’articles référencés. L’INRIA (Institut national de recherche en informatique et en automatique) dépenserait 7 000 euros par an pour pouvoir avoir accès au Science Citation Index Expanded (jusqu’aux articles de 1991) et au Journal of Citation Report[29]. Le rapport de l’INRIA conclut donc, à ce sujet, que « L’accès aux sources payantes est donc relativement onéreux alors que nous avons vu que le taux de couverture imparfait de ces outils devrait amener à multiplier les sources pour établir de manière raisonnable les indicateurs demandés et/ou pour contrôler les biais méthodologiques des calculs des indicateurs. De plus pour le cas particulier de l’INRIA l’étude préliminaire […] montre que les résultats obtenus via les sources payantes sont bien plus médiocres que ceux obtenus à l’aide des outils gratuits. Dans un autre domaine il serait a fortiori pernicieux que les indicateurs soient utilisés pour guider les choix des abonnements dans les centres de documentation. »[29]

Acteurs[modifier | modifier le code]

Circle-icons-globe.svg
Cette section adopte un point de vue régional ou culturel particulier et doit être internationalisée (novembre 2018).

Les acteurs publics[modifier | modifier le code]

Les articles scientifiques ne constituent pas le canal de diffusion principal dans les Sciences Humaines et Sociales (SHS) où les monographies par exemple prennent une importance beaucoup plus grande que dans les sciences naturelles. Les méthodes bibliométriques actuelles sont donc peu adaptées à ces disciplines. La volonté d’évaluer les performances des acteurs de la recherche en SHS a donc conduit des organismes publics à chercher des alternatives à la bibliométrie.

La fondation européenne de la science[modifier | modifier le code]

Crée en 1977, la fondation européenne de la science (en anglais European science foundation, ESF) est une association regroupant 77 organisations scientifiques de 30 pays européens. Son objectif est de promouvoir la recherche scientifique et d’améliorer la coopération européenne dans ce domaine, d’émettre des avis sur des questions scientifiques stratégiques, d’encourager la mobilité des chercheurs, d’améliorer la mutualisation des moyens.

Dans ce cadre, l’ESF a mis en place en 2007 un classement des revues dans le domaine des humanités[44]. Appelé « European Reference Index for the Humanities » (ERIH), ce classement est établi par un panel d’experts. Il classe les revues en trois catégories en fonction de leur importance perçue.

Devant la menace de 61 comités de publication de revues de sciences humaines et sociales, la fondation a décidé, en janvier 2009, de retirer les lettres (A, B et C) de son classement. Celles-ci seront remplacées par des descriptions écrites[45].

En France[modifier | modifier le code]

Circle-icons-globe.svg
Cette section adopte un point de vue régional ou culturel particulier et doit être internationalisée (novembre 2018).

Loi organique relative aux lois de finances[modifier | modifier le code]

En France, les indicateurs bibliométriques occupent une place importante dans la Loi organique relative aux lois de finances (LOLF)[40]

L'AERES[modifier | modifier le code]

L’agence nationale d’évaluation de l’enseignement supérieur et de la recherche (AERES) est une autorité administrative indépendante (AAI) française, chargée de l’évaluation de l’enseignement supérieur et de la recherche publique, créée par la loi de programme pour la recherche de 2006.

Prenant en partie appui sur le modèle de l’ERIH (European Reference Index for Humanities) développé pour les humanités et sur les listes établies par le CNRS en 2004, l’AERES a procédé à sa propre classification en l’étendant aux sciences sociales. Elle a produit une première liste de revues ordonnées (A, B, C) de 6305 revues, qui a été rendue publique en juillet 2008 et a suscité une vive critique (voir infra). L'Agence a réagi en produisant des listes disciplinaires non ordonnées, appliquant un « périmètre de scientificité » entre 2009 et 2011[46].

Critique des listes de revues de l'AERES et de l'ESF[modifier | modifier le code]

En France, le classement bibliométrique des revues mis en place par l’AERES, a suscité des critiques de la part de chercheurs d’horizons divers[38]. Ainsi, le médiéviste Olivier Boulnois affirme qu’on « confond la qualité d’une revue avec sa diffusion, et la qualité d’un article avec la qualité d’une revue »[38]. La philosophe Barbara Cassin est aussi extrêmement critique vis-à-vis de l’indice h et du classement des revues[47].

Le classement de l’AERES favorise en outre les revues généralistes (auxquelles on attribue le rang A) au détriment des revues spécialisées (rang B voire C) - ce qui conduit à une sous-évaluation de la valeur des articles publiés dans des revues spécialisées, jugés de moindre importance du fait du lieu de leur publication[48].

En matière de sciences politiques, l’European Reference Index for Humanities utilisé par la Fondation européenne de la science n’a pas été utilisé par les « experts » chargés par l’AERES de classer les revues de sciences politiques (qui n’étaient pas présentes dans le classement de l’AERES de juillet 2008), « pour la raison principale que très peu de revues françaises pourraient être classées selon ces derniers critères [de visibilité internationale] et qu’il serait alors impossible de réaliser une évaluation raisonnable de la production scientifique effective des politistes français. »[48]

Les différents classements possibles utilisés par l’AERES sont ainsi critiqués pour leur absence de bases solides[49].

L'action NLP4NLP[modifier | modifier le code]

Depuis 2013 a lieu l'action NLP4NLP [50]qui est une opération de bibliométrie d'application des outils de TAL aux archives du TAL depuis les années soixante jusqu'à nos jours par Joseph Mariani, Gil Francopoulo et Patrick Paroubek. Il s'agit par exemple de déterminer automatiquement quels sont les inventeurs des termes techniques du TAL qui sont utilisés actuellement[51]. Un autre champ d'étude est de déterminer quels sont les couper / coller (éventuels) que les chercheurs du TAL effectuent quand ils écrivent un article scientifique[52]. Un autre thème de travail est l'analyse prédictive afin de déterminer en fonction des profils statistiques de l'usage des termes techniques populaires actuellement, quels seront les termes en usage dans les quatre prochaines années[53].

Voir aussi[modifier | modifier le code]

Références[modifier | modifier le code]

  1. a b c d e f g h i j k l m n o p q r s t et u Vincent Larivière et Cassidy R. Sugimoto, Mesurer la science, Montréal, Les Presses de l'Université de Montréal,
  2. Beauvens Alisma., « Statistical Bibliography or Bibliometrics », Journal of Documentation, 25, 4, p.  348-349, 1969
  3. Xavier Polanco, « Aux sources de la scientométrie », sur biblio-fr.info.unicaen.fr
  4. E. Garfield, Citation indexes for science: a new dimension in documentation through association of ideas, Science, 1955;122:108-111
  5. Bruno Latour, La Science en action, Paris : Gallimard Folio, p. 87
  6. E. Garfield, 1979 Citation Indexing - Its Theory and Application in Science,Technology, and Humanities. Publisher John Wiley & Sons, Inc. 1979. Reprinted by ISI Press, Philadelphia, USA. 1983
  7. Pinski, G., & Narin, F. (1976), Citation influence for journal aggregates of scientific publications : theory, with application to the literature of physics. Information processing and management, 12, 297-312.
  8. Cardon D. (2013). Dans l'esprit du PageRank. Une enquête sur l'algorithme de Google, Réseaux, 177, 63-95.
  9. C. Lee Giles et Isaac G. Councill. Who gets acknowledged: Measuring scientific contributions through automatic acknowledgment indexing. In Proceedings of the National Academy of Sciences 101(51):17599–17604, 21 décembre 2004
  10. Bruno Latour et Steve Woolgar, La Vie de laboratoire. La production des faits scientifiques, Paris : La Découverte, 1996
  11. Narin F., Patent Bibliometrics, Scientometrics 30, 1, 1994
  12. Barré R. (2001), Sense and nonsense of S&T productivity indicators, Science and Public Policy 28, 4, p. 259-266
  13. Pontille D., Torny D., «La manufacture de l'évaluation scientifique : algorithmes, jeux de données, outils bibliométriques », Réseaux, 177, 25-61, 2013.
  14. Murugesan P & Moravcsik M J. (1978), Variation of the nature of citation measures with journals and scientific specialties. Journal of the American Society of Information Science 29:141-155
  15. Schubert, A, & Braun, T. (1996). Cross-field normalization of scientometric indicators, Scientometrics, 36(3), 311-324.
  16. Sen, B.K. (1992). Normalized impact factor. Journal of Documentation, 48 (3), 318-325.
  17. Bergstrom, C. T. (2007). « Eigenfactor: Measuring the value and prestige of scholarly journals ». College & Research Libraries News 68 (5).
  18. Zitt M., Ramanana-Rahary S., Bassecoulard E.. (2005). Relativity of citation performance and excellence measures: from cross-field to cross-scale effects of field-normalisation, Scientometrics, vol 63, no 2, p. 373-401.
  19. Zitt M., Small H. (2008) Modifying the Journal Impact Factor by Fractional Citation Weighting: the Audience Factor, Journal of the American Society for Information Science and Technology, vol 59, no 11, p. 1856-1860.
  20. Moed, H.F. Measuring contextual citation impact of scientific journals, à paraître dans Journal of Informetrics, 2010 arxiv.org/pdf/0911.2632
  21. Yves Gingras, La fièvre de l’évaluation de la recherche, Centre universitaire de recherche sur la science et la technologie, mai 2008
  22. (en) Description de la base de donnée ISI
  23. Informations sur Scopus
  24. J. Schöpfel et H. Prost, « Le JCR facteur d’impact (IF) et le SCImago Journal Rank Indicator (SJR) des revues françaises : une étude comparative », in Psychologie française 54 (2009) 287–305
  25. Pour une liste plus complète recensant ces bases de données, consulter la catégorie Catégorie:Base de données bibliographiques.
  26. Godin B., Pour une sociologie de la statistique sur la science et l'innovation, Canadian Science and Innovation Indicators Consortium (CSIIC), Working Paper no 26, 2004.
  27. Académie des sciences, « Du bon usage de la bibliométrie pour l'évaluation individuelle des chercheurs », 2011
  28. N. C. Liu et Y. Cheng, « Academic Ranking of World Universities – Methodologies and Problems », Higher Education in Europe, 30, 2, 2005 ainsi que M. Zitt et G. Filliatreau, « Big is (made) Beautiful », Première Conférence internationale sur les universités de classe mondiale, Shanghai, juin 2005.
  29. a b c d e et f [PDF]Que mesurent les indicateurs bibliométriques ?, document d'analyse de la Commission d'évaluation de l'INRIA, Préparé par A-M. Kermarrec, E. Faou, J-P. Merlet (rapporteur), P. Robert, L. Segoufin. Validé par la Commission d’Évaluation du 12 septembre 2007.
  30. « Le Classement de Shanghai est-il biaisé? », sur http://onomastique.hypotheses.org/, (consulté le 30 août 2014)
  31. Leydesdorff L. (2001), The Challenge of Scientometrics: The Development, Measurement, and Self-Organization of Scientific Communications, Universal, 344 p
  32. Weingart P. (2005) Impact of bibliometrics upon the science system: inadvertent consequences? Scientometrics 62, 1, 117–31
  33. Van Raan, A (2004), Measuring science. in H Moed, W Glänzel and U Schmoch, Eds., Handbook of Quantitative Science and Technology Research, p. 19–50, Kluwer.
  34. Zitt M., Bassecoulard E. (2008) Challenges for scientometric indicators: data demining, knowledge flows measurements and diversity issues, Theme section / section thématique: The use and misuse of bibliometric indices in evaluating scholarly performance, Ethics in science and environmental politics 8, 1, 49-60 -- et nombreuses autres contributions dans ce numéro thématique.
  35. Lepori B., Barré R., Filliatreau G. (2008). New perspectives and challenges for the design and production of S&T indicators, Research Evaluation, 17 (1), 33-44.
  36. a b et c Laurence Coutrot, Sur l’usage récent des indicateurs bibliométriques comme outil d’évaluation de la recherche scientifique, Bulletin de méthodologie sociologique, octobre 2008, no 100, p. 45-50
  37. « Le h-index d'Albert Einstein », sur rachelgliese.wordpress.com
  38. a b et c Olivier Boulnois, « L’évaluation automatisée en sciences humaines »,
  39. A. Van Raan, Sleeping beauties in science, Scientometrics, Vol. 59, No. 3 (2004) 461-466
  40. a b et c [PDF] Que disent les indicateurs ?, entretien avec Jean-Pierre Merlet, animateur du groupe de réflexion sur les indicateurs de la commission d’évaluation de l’INRIA, Lettre d'information de l'INRIA, no 59, mai 2007
  41. Gaming the Impact Factor Puts Journal In Time-out http://scholarlykitchen.sspnet.org/2011/10/17/gaming-the-impact-factor-puts-journal-in-time-out/
  42. Glänzel W., Moed H.F. (2002), Journal impact measures in bibliometric research, state-of-the-art report, Scientometrics 53, 2, 171-193
  43. Bordons M., Fernandez M.T., Gomez I. (2004) Advantages and limitations in the use of Impact Factor measures for the assessment of research performance, Scientometrics 53, 2, 195-206
  44. Présentation de l'ERIH
  45. L’ERIH retire son classement par lettres des revues (22 janvier 2009), Sauvons l'Université (avec lien vers Index of journals scraps controversial grades, The Times of Higher Education, 22 janvier 2009)
  46. Pontille D., Torny D., « The controversial policies of journal ratings: evaluating social sciences and humanities », Research Evaluation, 19(5), 347-360, 2010
  47. Barbara Cassin, « On classe les chercheurs comme Google classe les sites », sur Rue89,
  48. a et b ANCMSP (Association nationale des candidats aux métiers de la science politique), « Note sur le classement des revues AERES en science politique »,
  49. Olivier Ertzscheid (maître de conférences en sciences de l'information), « On a perdu la 71e section !! »,
  50. NLP4NLP: The Cobbler's Children Won't Go Unshod, Gil Francopoulo, Joseph Mariani, Patrick Paroubek, D-Lib Magazine: The Magazine of Digital Library Research, November 2015[1]
  51. Rediscovering 15+2 Years of Discoveries in Language Resources and Evaluation, Joseph Mariani, Patrick Paroubek, Gil Francopoulo, Oliver Hamon, LRE (Language Resources and Evaluation) Springer, DOI:10.1007/s10579-016-9352-9
  52. A Study of Reuse and Plagiarism in LREC papers, Gil Francopoulo, Joseph Mariani, Patrick Paroubek, LREC 2016, http://www.lrec-conf.org/proceedings/lrec2016/index.html
  53. Predictive Modeling: Guessing the NLP terms of Tomorrow », Gil Francopoulo, Joseph Mariani, Patrick Paroubek, LREC 2016, [2]

Bibliographie[modifier | modifier le code]

  • Braun T., A. Schubert, W. Glanzel Scientometric Indicators: A Thirty-Two Country Comparative Evaluation of Publishing Performance and Citation Impact, World Scientific Publishing Company, 250 p. 1985 (pour la méthodologie)
  • Egghe L., Rousseau R., Introduction to informetrics. Quantitative methods in library, documentation and information science, Elsevier, 430 p., 1990
  • Garfield E., Citation indexing: its theory and applications in science, technology and humanities, préface de R.K. Merton, John Wiley, 1979
  • Godin B., La science sous observation : cent ans de mesure sur les scientifiques, 1906-2006, Presses de l’Université Laval, 2005.
  • Godin B., Measurement and Statistics on Science and Technology: 1920 to the Present, Routledge, 2005
  • Yves Gingras, Les dérives de l'évaluation de la recherche : du bon usage de la bibliométrie, Raisons d'agir éditions, 2014
  • Godin B., On the Origins of Bibliometrics, Project on the History and Sociology of S&T Statistics, Canadian Science and Innovation Indicators Consortium (CSIIC), Working Paper no 33, 2006.
  • Lafouge T., Le Coadic Y.F., Michel C., Éléments de statistique et de mathématiques de l'information: infométrie, bibliométrie, médiamétrie, scientométrie, muséométrie, Presses de l'Enssib, 306 p., 2002
  • Moed H.F., Glänzel W., Schmoch U., Ed., Handbook of quantitative science and technology research: the use of publications and patent statistics in studies of S&T systems, Kluwer, 800 p., 2004
  • Moed, H. F., Citation Analysis In Research Evaluation, Springer, 364 p., 2005
  • Narin F. Evaluative bibliometrics: the use of publication and citation analysis in the evaluation of scientific activity, 459 p. Computer Horizons (NSF C-627), 1976
  • Price, D.J. Little science, big science, Columbia Un. Press, 118 p., 1965 - Trad. française Science et suprascience, 124 p., 1972, Fayard, 1972

Liens externes[modifier | modifier le code]