Bibliométrie

Un article de Wikipédia, l'encyclopédie libre.
Aller à : navigation, rechercher

La bibliométrie peut être définie comme « l’application des mathématiques et des méthodes statistiques aux livres, articles et autres moyens de communication » (Pritchard, 1969[1]). Une définition plus contemporaine, associant bibliométrie, scientométrie d'outputs et infométrie, serait en termes d'« analyse quantitative de l'activité et des réseaux scientifiques ». Cette discipline, qui s'appuie sur l'analyse statistique des données et des réseaux, a un volet cognitif, en interaction avec les champs se donnant les sciences et les communautés scientifiques comme objet (économie de la connaissance, sociologie des sciences, épistémologie, histoire des sciences, etc.) et avec les sciences de l'information. Elle a un volet opérationnel, en liaison avec l'évaluation, le positionnement des acteurs et le management scientifique. Dans ce dernier cas, les études bibliométriques permettent de quantifier la communication d'un individu ou d'un groupe, non seulement en termes de volume, mais également de visibilité, d'influence, de partenariats, d'insertion dans les réseaux.

Les courants sociologiques les plus contrastés, du fonctionnalisme de R.K. Merton aux courants radicaux de la sociologie des années 1980 dans leur application aux « acteurs » de recherche (programme fort, science studies, sociologie de de la traduction devenue théorie de l'acteur-réseau, ANT), s'accordent sur une chose, le rôle central de la publication dans la vie scientifique. C'est l'hypothèse fondatrice de la scientométrie que de reconnaître dans les traces bibliométriques (publications, citations) et les réseaux associés un miroir de l'activité scientifique. Au delà de ce fond commun, une grande diversité de pratiques de publication et de citation se manifeste selon les disciplines ou les types de recherche.

Les méthodes bibliométriques sont transposables mutatis mutandis à toute sortie codifiée du système d'enseignement et de recherche (thèses ; contrats de recherche comme les projets européens des programmes cadres). Pour d'autres dimensions de l'activité de recherche (alimentation de bases d'observation ; littérature dite grise ; travaux d'expertise…), l'accès aux données et/ou leur faible degré de codification rendent la tâche difficile.

Histoire de la discipline[modifier | modifier le code]

Article détaillé : Histoire de la scientométrie.

Les premiers travaux de bibliométrie et de scientométrie remontent au début du XXe siècle. Alfred Lotka, Samuel Bradford ou George Kingsley Zipf, énoncent leurs lois entre 1926 et 1935. Mais ce n’est qu'à partir de 1950 que Derek John de Solla Price fonde véritablement la discipline en théorisant et mettant en pratique l’utilisation des articles scientifiques comme indicateurs quantitatifs de l’activité de recherche[2]. Dans la même période, Eugene Garfield développe l’idée d’utiliser les citations présentes dans les articles scientifiques, c’est-à-dire les renvois faits à d’autres articles, pour lier les articles entre eux[3]. Le premier volume du Science Citation Index voit le jour en 1963.

Les principaux indicateurs[modifier | modifier le code]

Les indicateurs décrits ci-dessous peuvent s’appliquer à différentes échelles : micro (un chercheur, un groupe), meso (un département, une université) ou macro (une région, un pays, un continent). Ces différentes catégories sont comprises sous l’appellation « unité ».

Les indicateurs de production[modifier | modifier le code]

Dans la plupart des sciences biomédicales et physiques, les chercheurs communiquent les résultats de leur travail par des articles dans des revues scientifiques et certains y voient « le but essentiel de leur activité »[4]. La mesure du nombre d’articles publiés constitue donc souvent le premier indice de production. Si l'article est un moyen de communication central dans les sciences dures, d'autres disciplines privilégient d'autres modes de production : les communications en conférence (proceedings) en informatique, les ouvrages ou chapitres d'ouvrage dans plusieurs disciplines des sciences humaines et sociales. Enfin, en technologie et développement, le marqueur d'invention qu'est le brevet, à la fois titre juridique, outil stratégique et support d'information, présente de nombreuses analogies formelles avec l'article scientifique, permettant, avec prudence, la transposition des outils bibliométriques[5]. Aux niveaux meso et macro, le nombre de doctorats délivrés est également une mesure intéressante de l’activité des institutions.

Ces différents types de publications (outputs) sont toutefois plus ou moins accessibles et faciles à traiter. Si les articles publiés dans des revues scientifiques sélectionnées sont systématiquement référencés dans les bases de données Web of Science ou Scopus, le référencement des livres pose plus de difficultés. Des progrès sont en cours autant pour les ouvrages que pour les communications de conférence, sur fond de processus de numérisation des fonds académique et de concurrence entre fournisseurs de données.

De même, il est nécessaire de définir en pratique ce qui relève de la production scientifique, ce qui comporte toujours une part d’arbitraire. Contrairement aux brevets d'invention par exemple, il n'existe pas de définition formelle de ce qu'est un périodique ou un article « scientifique ». L'analyse bibliométrique est confrontée en permanence au calibrage des bases de données, aux questions de classement des revues, à la définition de périmètres de corpus satisfaisants à défaut d'être optimaux, en fonction des objectifs (recherche d'une couverture exhaustive ou comparaison internationale impliquant comparabilité et sélectivité, etc.).

Le dénombrement d'outputs pour un type de production donné et dans un périmètre donné suppose des règles pour les articles en cosignature d'une part, pour les articles ou revues en multi-assignation disciplinaire d'autre part (selon la structure des bases de données). Il existe une grande variété de modes de comptage, dont les plus usuels sont le compte de présence et le compte fractionnaire, qui peuvent conduire, en particulier à l'échelle « micro », à des différences sensibles. Il n'y a pas de « meilleure solution », le choix dépendant des propriétés recherchées et des points de vue adoptés. Il faut être attentif au choix de producteurs d'indicateurs qui présentent parfois des produits avec des systèmes de comptage peu satisfaisants, notamment la sélection d'une institution unique dans une ligne d'affiliation.

Les indicateurs classiques sont les mesures de volume, de « parts de marché » sur une référence donnée (nationale, mondiale…). Pour les acteurs institutionnels ou territoriaux, la production, mesure de puissance brute, doit être complétée par des mesures rapportées à l'article (citations par article ou impact), ou par des mesures de « productivité », rapportant la production aux entrées, les ressources humaines ou économiques. Mais la productivité scientifique est extrêmement délicate à estimer, en raison notamment des difficultés méthodologiques, à toutes les échelles, pour mesurer les entrées[6] .

Pour les unités à forte diversité, par exemple les grandes institutions de recherche ou les universités, la répartition de la production entre domaines d'activité est un aspect important, mesurable par des indices classiques de spécialisation par thème ou de concentration de l'activité. Ces caractéristiques du spectre d'activité à diverses échelles permettent des analyses de comparaison spécialisation-visibilité, de complémentarité entre acteurs, etc.

Les indicateurs d'impact[modifier | modifier le code]

Les indicateurs d’impact se fondent essentiellement sur les citations entre articles. Cette idée se base notamment sur la sociologie structuro-fonctionnaliste de Merton, pour qui la science se caractérise par son universalisme, sa justice et son auto-régulation. Dans ce champ et cette communauté, les scientifiques « qui ont le mieux rempli leur rôle » sont récompensés (reward system) en étant reconnus par leurs pairs. Cette reconnaissance passe notamment par les citations que les chercheurs font du travail de leurs pairs, signes d’une dette intellectuelle mue par l’auto-régulation de la communauté.

Cette vision du rôle clef des citations se retrouve aussi, avec une interprétation opposée, chez le sociologue des sciences Bruno Latour, qui met l’accent sur les stratégies rhétoriques de l’écriture scientifique et le rôle central des citations venant appuyer et confirmer le discours :

La présence ou l’absence de références, de citations et de notes de bas de page est un signe si sûr du sérieux d’un texte que l’on peut en partie transformer un fait en fiction ou une fiction en fait simplement en retranchant ou en ajoutant des références[7].

Dans ces deux visions, mais aussi dans la vision communément admise de la science, celle-ci fonctionne en réseau, lequel passe par les citations et références qui permettent de relier les articles entre eux et par là, les chercheurs, les programmes, les institutions.

Ces explications viennent légitimer le constat du fondateur du Science Citation Index Eugene Garfield :

Presque tous les articles, notes, revues, corrections et correspondances publiés dans les journaux scientifiques contiennent des citations. Ils citent (généralement par titre, auteur, date et lieu de publication) les documents qui soutiennent, précèdent, illustrent ou élaborent ce que l’auteur a à dire[8].

Les indicateurs fondés sur les citations reçues, mesuré au niveau micro, meso ou macro, sont importants en scientométrie. Convenablement normalisés, ils permettent d’estimer l’impact ou l’influence académique d'une unité. Les tenir pour une mesure de qualité est une sur-interprétation manifeste, en raison de multiples biais (pratiques de signature, langue de publication, effets disciplinaires, etc.).

L'analyse de citations entre revues[9] a également inspiré l’algorithme du moteur de recherche Google, le PageRank [10](basé sur les liens hypertextes reliant les pages web), lequel sert aujourd’hui à des classements d’impact des institutions de recherche sur internet comme le Ranking Web of World Universities.

Aujourd’hui, d’autres indicateurs d’influence se développent à partir de l’usage qui est fait des articles (nombre de consultations ou de téléchargements). Cette notion d’usage (en réalité manifestation d'intérêt) est sensiblement différente de celle d’impact ou d’influence qui est aujourd'hui au centre de l’attention. La notion de reconnaissance émerge également comme alternative[11].

Toute mesure de citation suppose des choix méthodologiques :

- le cadre temporel de calcul : décompte par année citante, année citée, période synchrone ; fenêtre temporelle de citation : longueur de la période où l'on dénombre les citations après la parution de l'article - avec des compromis inévitables entre l'intérêt d'une fenêtre maximale, notamment pour les disciplines lentes, et les impératifs d'une mesure raisonnablement rapide.

- le mode de comptage pour les citations aux publications en cosignatures, avec des choix analogues à ceux rencontrés pour le dénombrement des publications.

- la normalisation (par discipline, par exemple) des indicateurs dérivés.


Le facteur d'impact[modifier | modifier le code]

Article détaillé : Facteur d'impact.

Le facteur d’impact est une mesure d’impact à l’échelle d’une revue : il quantifie le nombre moyen de citations reçues par un article de cette revue dans les deux ans suivant sa publication. Cet indicateur est la propriété de Thomson Reuters, qui le calcule chaque année depuis plusieurs décennies pour plus de 5 000 revues scientifiques de la base Science Citation Index, allant de l’astronomie à la géologie en passant par les mathématiques et la recherche médicale. Les sciences humaines et sociales sont concernées par deux autres bases de données du même éditeur, le Arts and Humanities Citation Index et le Social Sciences Citation Index. Celles-ci sont pourtant beaucoup moins utilisées en bibliométrie parce que leur couverture est plus discutable et parce que dans ces disciplines, les articles scientifiques jouent un rôle moins prépondérant que dans les sciences dites dures.

Le facteur d'impact, jalon historique de la scientométrie, a bénéficié d'un relatif monopole dans l'usage des mesures de la science jusqu'au début des années 2000, avant qu'une prolifération d'alternatives ne soient popularisées[12].

Quelques indicateurs de citation[modifier | modifier le code]

Quelques indicateurs classiques sont :

- les volumes et parts de citation sur un espace donné (par exemple parts mondiales)

- les statistiques fondées sur une valeur centrale (p.ex. moyenne des citations par article)

- les impacts relatifs (normalisés typiquement par la moyenne du champ disciplinaire)

- la décomposition de l'impact en visibilité espérée (analogue à un facteur d'impact de l'unité considérée, reflétant la concurrence pour l'accès aux revues) et en visibilité relative par revue (ratio de citation relative) reflétant la concurrence à l'intérieur des revues

- les mesures sur profils de citation à toutes les échelles, analysant les distributions relatives pour un acteur et une référence

- la famille récente et prolifique des indices composites, dont le plus couru est le h-index

- les mesures de dépendance ou d'influence scientifique

Ces indicateurs ont des propriétés très différentes, par exemple leur sensibilité aux queues de distribution ou le type de normalisation pratiqué. La diversité des disciplines ou des types de recherche oblige à rechercher, dans toute la mesure du possible, les conditions d'une comparabilité entre données de citation issues de contextes différents. La question de la normalisation/standardisation par champ ou pratique de recherche est centrale. La normalisation des impacts par champ est donc une préoccupation apparue dans le sillage des premiers indicateurs de citation, dans les années 1970, par exemple chez Murugesan et Moravcsik[13]. On distingue aujourd'hui trois types d'approche pour rendre les mesures plus comparables entre champs de recherche :

L'approche classique consiste à normaliser ex post une mesure de citation, par des méthodes cardinales (ratio à une valeur centrale comme la moyenne du champ, standardisation) ou ordinales (percentiles définis par champ). Il existe une littérature considérable sur le sujet, qu'il s'agisse du niveau revues (facteurs d'impact normalisés) ou du niveau acteurs. En général, ces mesures sont dépendantes de nomenclatures disciplinaires, par exemple les « subject categories » du Web of Science, ou de plans de classement. Les préoccupations de normalisation sont présentes dans les textes classiques de bibliométrie (Narin, 1976, Braun 1985, voir bibliographie ; Schubert et Braun 1996[14]), avec de nombreuses applications au niveau revues (un des premiers facteurs d'impact normalisés : Sen 1992[15]).

Certains types de « mesures d'influence » qui renouvellent le travail pionnier précité de Pinski et Narin, par exemple l'Eigen Factor des revues développé par Bergstrom[16], intègrent un autre type de normalisation, du côté des citations émises (référencement) et non des citations reçues. Cette normalisation est mêlée, dans ce cas, aux pondérations en chaîne des revues émettrices en fonction de leur propre visibilité.

Analysant la dépendance par rapport au niveau de généralité des ensembles pris comme référence, d'autres auteurs[17] ont suggéré l'intérêt d'une pondération côté citant, sans introduire de chaînes d'influence, ce qui a abouti au développement expérimental d'un facteur d'impact pondéré, le « facteur d'audience »[18]. Cet indicateur égalise dans une large mesure les niveaux entre spécialités ou disciplines et inclut une correction pour l'immédiateté des citations. Dans ce sillon, le SNIP (Source Normalized Impact per Paper)[19] a été implémenté par Scopus. Cette mesure, comme le facteur d'audience, est indépendante du découpage disciplinaire. Le principe de normalisation côté citant peut être étendu, comme les mesures d'influence, à l'ensemble des techniques de citation.

Les indicateurs composites[modifier | modifier le code]

L'indice h[modifier | modifier le code]

Article détaillé : Indice h.

En 2005, Jorge Hirsch, un physicien, a proposé l’indice h comme indicateur composite de la production scientifique et de la visibilité. Un chercheur aura un h-index égal à N s’il a publié au moins N articles cités au moins N fois. Cette définition donne un faible indice aux chercheurs qui publient énormément d’articles mais ne sont presque jamais cités ainsi qu’aux chercheurs qui ont publié de manière exceptionnelle un article extrêmement cité. En conséquence, l’indice h d’un chercheur ne peut jamais diminuer, même si sa production a chuté ou s’est arrêtée.

Selon Yves Gingras, l’indice h a peu d’utilité au niveau individuel car « il est en fait fortement corrélé au nombre total d’articles et est ainsi redondant »[20]. Il note toutefois que son utilisation de plus en plus courante est avant tout le fait des chercheurs eux-mêmes.

L'indice présente l'avantage, contrairement aux impacts moyens, d'être insensible aux articles peu cités dans la production d'un auteur. D'autres indices de la famille (g-index, e-index) conservent cette caractéristique du h-index tout en introduisant une sensibilité au score de citation des articles les plus visibles. Un inconvénient de ces mesures est leur normalisation disciplinaire délicate, aussi bien en pratique que dans le principe même, étant donné le caractère quelque peu numérologique de l'approche.

Usages de la bibliométrie[modifier | modifier le code]

La bibliométrie gagne de l’importance sous l’effet de plusieurs facteurs : la disponibilité de base de données de plus en plus complètes, l’utilisation accrue des outils de management dans l’administration de la recherche, la mondialisation du « marché » de l’enseignement supérieur. Elle se répand également sous l'effet d'un accès généralisé aux données de citation, notamment via Google Scholar, et la mise à disposition d'outils bibliométriques d'apparence très simple, comme Publish or Perish, développé par Ann-Will Harzing .

Évaluation de la recherche[modifier | modifier le code]

Elle est utilisée par les organismes finançant la recherche comme outil d’évaluation et comme aide à la décision en ce qui concerne les politiques de recherche.

Gouvernance de l'enseignement supérieur[modifier | modifier le code]

La bibliométrie est utilisée par les universités ou les gouvernements pour déterminer leurs forces et faiblesses dans le domaine de la recherche et orienter ainsi leurs actions.

Les liens que tissent la statistique avec la politique sont multiples. Ils vont de la compréhension des phénomènes sur lesquels on veut intervenir (théorique) à l'évaluation des actions gouvernementales (pratique), sans oublier la promotion des efforts nationaux (symbolique)[21].

Les classements d'universités[modifier | modifier le code]

L'Université Jiao-tong de Shanghai, l'une des institutions dressant des classements universitaires
Article détaillé : palmarès universitaires.

S’appuyant sur un ou plusieurs des indicateurs énoncés auparavant, les classements d’universités sont sans doute l’application la plus visible de la bibliométrie. Les deux classements internationaux les plus célèbres sont :

La sociologie des sciences[modifier | modifier le code]

La bibliométrie est utilisée par les sociologues des sciences pour étudier l’activité des scientifiques, l’apparition et l’autonomisation de disciplines, l’importance temporelle de certains champs ou encore les liens que différentes disciplines tissent entre elles.

L'évaluation individuelle des chercheurs[modifier | modifier le code]

La bibliométrie est parfois utilisée pour l'évaluation individuelle des chercheurs. Cet usage est très controversé (cf. ci-dessous) compte tenu de l'imperfection des indicateurs et des enjeux d'un tel exercice. L'académie des Sciences française a émis un certain nombre de recommandations à cet effet[22] :

Recommandation n° 1 : L’utilisation des indicateurs bibliométriques pour l’évaluation individuelle n’a de valeur que si l’on respecte certaines conditions majeures : L’évaluation doit porter sur les articles et non sur les revues ; La qualité des données, la normalisation, la significativité des écarts et la robustesse des indicateurs doivent être validées ; L’évaluation bibliométrique doit ne comparer entre elles que des personnes de la même communauté disciplinaire, pendant tout leur parcours ; Les utilisateurs de la bibliométrie doivent être capables de s'en expliquer

[…]
Recommandation n° 2 : La bibliométrie ne peut pas se résumer à des nombres, mais doit être accompagnée d’un examen approfondi des données bibliométriques et bibliographiques, et si possible des articles eux-mêmes.
Recommandation n° 3 : Les indices bibliométriques ne peuvent pas être utilisés de la même façon selon l’objet de l’évaluation: recrutements, promotions, contrats, distinctions, etc.
Recommandation n° 4 : Il faut tenir le plus grand compte, lorsque cela est possible, de la place et de la contribution de l’auteur dans l’article considéré.
Recommandation n° 5 : L’évaluation bibliométrique doit être l’objet de recherche pour en améliorer la valeur. La France doit participer à cette réflexion.

Les acteurs[modifier | modifier le code]

Les bases de données[modifier | modifier le code]

Les trois principales bases de données bibliométriques sont la propriété d’acteurs privés : Thomson Reuters, Elsevier et Google. Les deux premiers, ainsi que des tiers, ont développé plusieurs outils d’analyse autour de ces bases de données[23]

Thomson Reuters (ISI Web of Science)[modifier | modifier le code]

L’Institute for Scientific Information (ISI) créé en 1960 par Eugene Garfield a été acquis par Thomson Scientific & Healthcare en 1992 et a porté le nom de Thomson ISI. Suite à la fusion avec Reuters en 2008, la compagnie fait maintenant partie de la Thomson Reuters Corporation.

L’ISI a développé son activité autour de sept bases de données de publications scientifiques et de leurs citations. Les trois premières recensent les articles et leurs citations : Science Citation Index (SCI), Social Sciences Citation Index (SSCI) et Arts and Humanities Citation Index (A&HCI). Ensemble, ce sont plus de 9 700 revues qui sont entièrement couverts, dont 70 % situés en sciences naturelles, et autant qui sont partiellement couverts[24]. Les citations remontent à 1900. Les critères de sélections des revues sont assez restrictifs et se basent sur le nombre de citations reçus. De par ses critères de sélection, ces bases de données ont un fort biais anglophone.

Les actes de conférences sont couverts par deux bases de données : Conference Proceedings Citation Index - Science (CPCI-S) et Conference Proceedings Citation Index - Social Sciences & Humanities (CPCI-SSH). Enfin, deux bases de données sont consacrées à la chimie : Index Chemicus (IC), Current Chemical Reactions (CCR-Expanded).

ISI a développé de nombreux produits destinés à l’exploitation de ses bases de données :

  • Web of Science : interface web qui permet d’analyser les citations d’une personne, d’un groupe, d’un article ou d’un journal,
  • Journal Citation Report : classement des journaux par facteur d'impact, différentes métriques sur les journaux,
  • Essential Science Indicators et ScienceWatch : classements d’institutions, d’auteurs, de pays ou de journaux, liste des articles les plus cités, liste des sujets les plus « chauds », etc.
  • InCites : outils de benchmarking à l’usage des institutions,
  • ResearcherID : un numéro unique par auteur, pour distinguer les travaux de personnes ayant une homonymie ou pour suivre le travail d’une personne ayant changé de nom.

Elsevier (Scopus)[modifier | modifier le code]

Article détaillé : Scopus (Elsevier).

L’éditeur Elsevier a lancé, en 2004, une base de donnée concurrente à celles d’ISI, sous le nom de Scopus. Celle-ci a rapidement rattrapé son retard et référence maintenant 16 500 revues scientifiques (y compris plus d’un millier en accès libre), 600 publications industrielles, 350 collections d’ouvrages, ainsi que plusieurs millions d'actes de conférences[25]. Les citations remontent à 1996 seulement pour la moitié des articles référencés. Par rapport à ses compétiteurs, Scopus offre une plus grande couverture des Sciences Humaines et Sociales et des revues non anglophones[26].

Elsevier a développé deux produits destinés à l’exploitation de ses bases de données :

  • Scopus.com : interface web qui permet d’analyser les citations d’une personne, d’un groupe, d’un article ou d’un journal;
  • SciVal Spotlight : outils de benchmarking (analyse comparative) à l’usage des institutions.

Par ailleurs, en se basant sur Scopus, Scimago ou eigenfactor.org sont des sites web libres d’accès qui permettent de classer des journaux ou des pays.

Google (Google Scholar)[modifier | modifier le code]

Article détaillé : Google Scholar.

Filiale du géant Google, et basé sur le même principe, Google Scholar a été lancé en version beta à la fin de l'année 2004 et référence les articles scientifiques. D’accès libre, Google scholar semble plus complet que ses compétiteurs mais il est actuellement impossible de savoir ce qui est inclus ou non dans cette base de données. De nombreuses erreurs ou doublons ont été relevés.

À partir de Google Scholar, l'outil bilbiométrique Publish or Perish permet de calculer quelques indicateurs bibliométriques par auteur, revue ou article. Il existe également un extension au navigateur Firefox qui a des fonctions relativement identiques : Tenurometer.

Autres[modifier | modifier le code]

Article détaillé : Base de données bibliographiques.

D’autres bases de données[27], souvent financées par de l’argent public et libre d'accès, sont souvent utilisées dans des domaines spécialisés :

  • SPIRES pour la physique,
  • MEDLINE pour les sciences de la vie et les sciences biomédicales,
  • CiteSeerX pour l’informatique et les sciences de l'information.

Les acteurs publics[modifier | modifier le code]

Les articles scientifiques ne constituent pas le canal de diffusion principal dans les Sciences Humaines et Sociales (SHS) où les monographies par exemple prennent une importance beaucoup plus grande que dans les sciences naturelles. Les méthodes bibliométriques actuelles sont donc peu adaptées à ces disciplines. La volonté d’évaluer les performances des acteurs de la recherche en SHS a donc conduit des organismes publics à chercher des alternatives à la bibliométrie.

La fondation européenne de la science[modifier | modifier le code]

Crée en 1977, La fondation européenne de la science (en anglais European science foundation, ESF) est une association regroupant 77 organisations scientifiques de 30 pays européens. Son objectif est de promouvoir la recherche scientifique et d’améliorer la coopération européenne dans ce domaine, d’émettre des avis sur des questions scientifiques stratégiques, d’encourager la mobilité des chercheurs, d’améliorer la mutualisation des moyens.

Dans ce cadre, l’ESF a mis en place en 2007 un classement des revues dans le domaine des humanités[28]. Appelé « European Reference Index for the Humanities » (ERIH), ce classement est établi par un panel d’experts. Il classe les revues en trois catégories en fonction de leur importance perçue.

Devant la menace de 61 comités de publication de revues de sciences humaines et sociales, la fondation a décidé, en janvier 2009, de retirer les lettres (A, B et C) de son classement. Celles-ci seront remplacées par des descriptions écrites[29].

La critique des indicateurs quantitatifs[modifier | modifier le code]

Certaines des personnes qui élaborent les indicateurs décrits ci-dessus en soulignent les limites. Par exemple, les auteurs du classement de Shanghai concèdent l’existence d’un biais en faveur des pays anglophones et des institutions de grande taille, ainsi que les difficultés à définir des indicateurs adéquats pour classer les universités spécialisées dans les sciences sociales[30]. Le rapport de l’Institut national de recherche en informatique et en automatique (INRIA) sur le sujet considère que les critères bibliométriques, quantitatifs, ne sauraient remplacer l’évaluation par les pairs, qualitative, et souligne un certain nombre d’effets pervers de ceux-ci dès lors qu’on leur accorde trop d'importance :

Si les indicateurs peuvent donner des tendances sur un nombre réduit d’aspects de la vie scientifique, il convient d’être très circonspect dans leur usage en raison de la possibilité d’interprétations erronées, des erreurs de mesure (souvent considérables) et des biais dont ils sont affectés. Un usage abusif des indicateurs est facilité par la nature chiffrée du résultat qui introduit la possibilité d’établir dans l’urgence toutes sortes de statistiques, sans se préoccuper d’en analyser la qualité et le contenu, et en occultant l’examen d’autres éléments de la vie scientifique comme, par exemple, l’innovation et le transfert intellectuel et industriel.

Les constatations et les recommandations les plus importantes sont les suivantes :

  1. on pourra constater que les erreurs de mesure dans la recherche de citations sont très importantes (…). Nous recommandons donc fortement de multiplier les sources, de faire une analyse critique des résultats (en particulier en faisant appel à des experts des domaines) et de s’attacher, au plus, aux ordres de grandeur des indicateurs.
  2. nous recommandons d’utiliser la littérature bibliométrique pour cerner la signification réelle des indicateurs et leur biais.
  3. les indicateurs ne donnent qu’une vue partielle et biaisée de certains aspects de la vie scientifique, sans en recouvrir l’ensemble. Ils doivent donc être complétés, corrigés et commentés par des spécialistes du domaine scientifique et interprétés s’ils sont utilisés dans le cadre d’une évaluation ou d’une prise de décision.
  4. nous recommandons de ne jamais utiliser des indicateurs pour effectuer des comparaisons entre domaines scientifiques différents.
  5. le principe des indicateurs reposant sur une analyse des citations est peu favorable à la prise de risques scientifiques et à l’innovation. Une utilisation abusive (voire pire, automatisée) serait un frein majeur à l’innovation.
  6. les indicateurs chiffrés sont très facilement manipulables par les individus, les institutions et d’autres acteurs de la vie scientifique (comme les journaux). Le nombre de manipulations augmentent, ce que l’on peut corréler à l’effet croissant de l’influence des indicateurs » [31]

Les recommandations ci-dessus sont partagées par de nombreux professionnels de la bibliométrie. Toutefois, l'absence de comparabilité entre domaines ne doit pas être exagérée, compte tenu des possibilités de normalisation, et en particulier pour les disciplines qui partagent un même mode majeur de production (par exemple l'article). Les comparaisons sont plus délicates en présence de modes de production différents, et sont naturellement conditionnées par l'accessibilité de données représentatives sur ces modes de production (problématique pour une grande partie des SHS).

Le risque le plus grand est certainement - c'est l'envers de l'extrême adaptabilité du monde de la recherche - la pression à la conformité avec un système de mesure ou de récompense figé et inadéquat, dont la forme la plus naïve est le financement à la publication. Les défis et perspectives sont abondamment discutées dans la littérature, qu'il s'agisse de biliométrie-scientométrie[32],[33],[34],[35], ou d'indicateurs[36].

Critique de l'évaluation individuelle des chercheurs par la bibliométrie[modifier | modifier le code]

Cohérence des indicateurs[modifier | modifier le code]

De plus en plus utilisés pour évaluer les chercheurs, en contradiction avec la pensée du père fondateur Derek de Solla Price qui insistait sur le caractère statistique de ces approches, les indicateurs quantitatifs se heurtent à une forte critique due à leur manque de cohérence lorsqu’ils sont appliqués au niveau individuel. Le fait qu’un même chercheur puisse recevoir des mesures d’impact différentes selon les indicateurs et les bases de données bibliographiques utilisés[37] pose de nombreux problèmes quant à leur utilisation et à la définition d’une norme de qualité.

Contributions importantes non détectées[modifier | modifier le code]

D'autres critiques de la bibliométrie mettent parfois en avant une grande variabilité du nombre de publications chez les scientifiques réputés. Des scientifiques de premier plan comme Albert Einstein ou Louis de Broglie n’auraient, dans l’ensemble, que peu publié, malgré leur influence considérable sur la science. Ceci viendrait démontrer le peu de fiabilité des indicateurs bibliométriques. Malheureusement, ces critiques s’appuient rarement sur des chiffres pourtant vérifiables : concernant Einstein, « voici ce que dit le ISI web of knowledge : Environ 160 articles, h-index = 49, nombre de citations proche des 20 000.»[38]. La bonne pratique en scientométrie suppose la connaissance des propriétés de chaque mesure et ne s'appuie pas sur un seul indicateur, aussi composite qu'il soit.

La situation est évidemment plus compliquée dans les sciences humaines et sociales. Par exemple, selon le philosophe Olivier Boulnois, « sur les quatre tomes des Dits et Écrits de Michel Foucault, il n’y a peut-être pas cinq articles publiés dans des revues classées A… »[39]. Cette critique montre que la mesure de la science doit suivre au plus près les pratiques de recherche et publications scientifiques et évoluer avec elles (les exemples donnés ici appartiennent en effet à un contexte scientifique différent de celui d’aujourd'hui).

Dans le même ordre d'idée, il existe des articles qui sont très peu cités pendant une période de plus de 10 ans et qui deviennent très cités des années plus tard. Appelés « sleeping beauties » (beautés dormantes), ces articles sont souvent des contributions visionnaires de certains scientifiques, passés relativement inaperçus lors de leur publication parce que le champ scientifique n'était pas suffisamment mûr pour apprécier ces travaux. L'existence de ces « sleeping beauties » remet en cause l'usage des citations pour l'évaluation individuelle. Il faut toutefois relativiser leur nombre et leur impact sur les indicateurs bibliométriques puisqu'ils ne représentent qu'entre 0,01 et 0,1 % des articles publiés[40].

Opposition avec l'évaluation par les pairs[modifier | modifier le code]

Une des critiques les plus paradoxales vient peut-être de Laurence Coutrot, qui rappelle les processus de filtrage successifs nécessaires avant la publication d’un article, processus de filtrage qui passent par l’évaluation par les pairs (comités de revues, etc.): « une fraction variable de ces manuscrits arrive à publication, un sur dix ou un sur vingt, parfois moins. Enfin, un article publié peut, par une série de processus sociaux que l’on connaît fort mal, parvenir à être cité. La citation est une mesure raisonnable de la visibilité d’un résultat scientifique. Quand bien même l’on voudrait départager les chercheurs qui travaillent de ceux qui « ne travaillent pas » (à supposer que cette expression ait un sens), le critère de citation est une mesure bien rustique. Sous des parures d’objectivité, cet indicateur réintroduit en fait ce qu’il prétendait éliminer ; c’est-à-dire, le jugement par les pairs. » [37]

En réalité, la bonne pratique en bibliométrie/scientométrie ne conteste en aucune manière le jugement par les pairs. Elle assume le rôle de miroir de la bibliométrie, qui reflète l'agrégation des micro-décisions de jugement entre pairs (celle de citer est un acte important), mais ne prétend nullement faire de cette agrégation une approche exclusive. Inversement, le jugement par les pairs au sens conventionnel, dans ses multiples formes, est influencé par les informations bibliométriques (à commencer par le facteur d'impact…) surtout à l'ère des bases bibliographiques/bibliométriques en ligne. Le jugement par les pairs n'est naturellement pas à l'abri de dérives, notamment en situation d'évaluation ou d'expertise par jurys ou commissions (biais de spécialisation, effets de groupe, conflits d'intérêts…). Il y a donc une porosité entre les deux mondes, chacun présentant des forces et des faiblesses, et une évidente complémentarité.

Les multiples facettes du métier de chercheur[modifier | modifier le code]

Par ailleurs, la bibliométrie ne peut prétendre qu’à l’analyse d’une des facettes du métier de chercheur. Elle laisse de côté l’enseignement, la vulgarisation, les services à la cité, la valorisation ou encore les services à la communauté (participation à des jurys, à des comités de lecture, etc.). De nombreux facteurs peuvent donc expliquer un faible nombre de publications. Par exemple, un chercheur qui travaille beaucoup dans le cadre de contrats en relation avec des industriels peut avoir du mal à publier autant qu’il le souhaiterait pour des raisons de confidentialité.

Effets néfastes de l'évaluation individuelle par la bibliométrie[modifier | modifier le code]

La bibliométrie incite les chercheurs à publier plus, selon le principe publish or perish. Le risque est ici que les chercheurs se préoccupent plus d’étoffer leur palmarès de publications (qui détermine leur carrière : possibilités de promotion, mais aussi, dans certains cas, paye ou continuité de leur emploi) que de réaliser des travaux scientifiquement intéressants.

On constate alors diverses dérives dues au désir d’augmenter le nombre de publications, par exemple:

  • le psittacisme : le chercheur publie la même idée dans plusieurs « papiers », profitant du fait que les évaluateurs des différentes publications n’ont pas lu leurs travaux précédents;
  • le saucissonnage (salami effect) : la même idée est découpée en plusieurs tranches, chacune publiée séparément[37],[31],
  • l’auto-citation malicieuse[31],
  • le frein à la prise de risque et la pénalisation de la recherche de pointe[31],[41].

Comme toute technique de mesure, la bibliométrie devient sujette à manipulation, d’autant plus facilement que son fonctionnement est connu.

Critique du facteur d'impact[modifier | modifier le code]

Article détaillé : Facteur d'impact.

L’usage du « facteur d’impact » des revues pour l’évaluation de la qualité des articles et des chercheurs est très sujet à caution.

Si le facteur d’impact est censé mesurer l’importance d’une revue pour la communauté scientifique, il est erroné de conclure qu’un article publié dans une revue à fort facteur d’impact est forcément de meilleure qualité qu’un papier dans une revue à facteur d’impact plus faible. Étant donné la distribution très asymétrique des citations, le facteur d’impact (qui est une valeur moyenne) d’une revue est un mauvais prédicteur du nombre de citations que recevra un article publié dans cette revue.

D’autre part, le facteur d’impact, comme tout indicateur basé sur les citations, dépend énormément des habitudes de référencement. La dépendance à la taille du champ n'est pas mécanique, au moins pour la valeur moyenne de l'impact. L'immédiateté des citations joue aussi un grand rôle : la longue demi-vie des citations en mathématiques désavantage fortement les revues de cette discipline par rapport à d’autres où les citations se font beaucoup plus rapidement. Des normalisations adaptées permettent de compenser, ou de réduire, ces effets. Le facteur d'impact proprement dit est typique des revues, et n'est pas accessible pour d'autres supports. En informatique, les compte-rendus de conférence prennent une grande importance. Dans le champ des sciences humaines et sociales, les articles recensant des ouvrages font l’objet d'un plus grand nombre de citations référencées que les ouvrages eux-mêmes.

Par ailleurs, la politique éditoriale de certaines revues renommés (comme Science ou Nature) met en jeu des critères extra-scientifiques, comme le côté « sensationnel » d’une publication. L’usage du nombre de citations favorise les publications « dans l’air du temps ». D’une manière générale, une revue consacrée à des sujets originaux ou émergents mais qui ne seraient pas « à la mode » est défavorisé par la fenêtre de mesure de deux ans[41]. Thomson Reuters met désormais à disposition une mesure sur une fenêtre plus longue.

Enfin, de nombreuses revues ont été accusées de gonfler artificiellement leur facteur d’impact, en augmentant le nombre de recensions ou encore en incitant fortement leurs auteurs à citer d’autres articles de la même revue. Thomson Reuters repère toutefois les cas les plus flagrants de manipulation et exclut les revues concernés de sa liste[42].

Notons que l'apparition d'autres mesures de notoriété des revues (mesures d'influence, facteur d'audience/ SNIP), même lorsqu'elles demeurent assez corrélées au facteur d'impact et au facteur d'impact normalisé par champ, montre des différences suffisantes pour en relativiser le dogme. La littérature spécialisée présente des analyses approfondies des facteurs d'impact[43],[44]. Surtout, il n'est plus possible, dans une approche moderne de la bibliométrie, de se limiter aux mesures d'impact dans les applications évaluatives.

Critique du coût[modifier | modifier le code]

Le coût d’accès aux outils payants est élevé et varie d’une institution à l’autre en fonction du nombre d’utilisateurs ou du nombre d’articles référencés. L’INRIA (Institut national de recherche en informatique et en automatique) dépenserait 7 000 euros par an pour pouvoir avoir accès au Science Citation Index Expanded (jusqu’aux articles de 1991) et au Journal of Citation Report [31]. Le rapport de l’INRIA conclut donc, à ce sujet, que « L’accès aux sources payantes est donc relativement onéreux alors que nous avons vu que le taux de couverture imparfait de ces outils devrait amener à multiplier les sources pour établir de manière raisonnable les indicateurs demandés et/ou pour contrôler les biais méthodologiques des calculs des indicateurs. De plus pour le cas particulier de l’INRIA l’étude préliminaire […] montre que les résultats obtenus via les sources payantes sont bien plus médiocres que ceux obtenus à l’aide des outils gratuits. Dans un autre domaine il serait a fortiori pernicieux que les indicateurs soient utilisés pour guider les choix des abonnements dans les centres de documentation. »[31]

En France[modifier | modifier le code]

Loi organique relative aux lois de finances[modifier | modifier le code]

En France, les indicateurs bibliométriques occupent une place importante dans la Loi organique relative aux lois de finances (LOLF) [41]

L'AERES[modifier | modifier le code]

L’agence nationale d’évaluation de l’enseignement supérieur et de la recherche (AERES) est une autorité administrative indépendante (AAI) française, chargée de l’évaluation de l’enseignement supérieur et de la recherche publique, créée par la loi de programme pour la recherche de 2006.

Prenant en partie appui sur le modèle de l’ERIH (European Reference Index for Humanities) développé pour les humanités et sur les listes établies par le CNRS en 2004, l’AERES a procédé à sa propre classification en l’étendant aux sciences sociales. Elle a produit une première liste de revues ordonnées (A, B, C) de 6305 revues, qui a été rendue publique en juillet 2008 et a suscité une vive critique (voir infra). L'Agence a réagi en produisant des listes disciplinaires non ordonnées, appliquant un « périmètre de scientificité » entre 2009 et 2011[45].

Critique des listes de revues de l'AERES et de l'ESF[modifier | modifier le code]

En France, le classement bibliométrique des revues mis en place par l’AERES, a suscité des critiques de la part de chercheurs d’horizons divers[39]. Ainsi, le médiéviste Olivier Boulnois affirme qu’on « confond la qualité d’une revue avec sa diffusion, et la qualité d’un article avec la qualité d’une revue » [39]. La philosophe Barbara Cassin est aussi extrêmement critique vis-à-vis de l’indice h et du classement des revues[46].

Le classement de l’AERES favorise en outre les revues généralistes (auxquelles on attribue le rang A) au détriment des revues spécialisées (rang B voire C) - ce qui conduit à une sous-évaluation de la valeur des articles publiés dans des revues spécialisées, jugés de moindre importance du fait du lieu de leur publication[47].

En matière de sciences politiques, l’European Reference Index for Humanities utilisé par la Fondation européenne de la science n’a pas été utilisé par les « experts » chargés par l’AERES de classer les revues de sciences politiques (qui n’étaient pas présentes dans le classement de l’AERES de juillet 2008), « pour la raison principale que très peu de revues françaises pourraient être classées selon ces derniers critères [de visibilité internationale] et qu’il serait alors impossible de réaliser une évaluation raisonnable de la production scientifique effective des politistes français. » [47]

Les différents classements possibles utilisés par l’AERES sont ainsi critiqués pour leur absence de bases solides[48].

Voir aussi[modifier | modifier le code]

Références[modifier | modifier le code]

  1. Pritchard A., « Statistical Bibliography or Bibliometrics », Journal of Documentation, 25, 4, p.  348-349, 1969
  2. Xavier Polanco, « Aux sources de la scientométrie », sur biblio-fr.info.unicaen.fr
  3. E. Garfield, Citation indexes for science: a new dimension in documentation through association of ideas, Science, 1955;122:108-111
  4. Bruno Latour et Steve Woolgar, La Vie de laboratoire. La production des faits scientifiques, Paris : La Découverte, 1996
  5. Narin F., Patent Bibliometrics, Scientometrics 30, 1, 1994
  6. Barré R. (2001), Sense and nonsense of S&T productivity indicators, Science and Public Policy 28, 4, p.259-266
  7. Bruno Latour, La Science en action, Paris : Gallimard Folio, p. 87
  8. E. Garfield, 1979 Citation Indexing - Its Theory and Application in Science,Technology, and Humanities. Publisher John Wiley & Sons, Inc. 1979. Reprinted by ISI Press, Philadelphia, USA. 1983
  9. Pinski, G., & Narin, F. (1976), Citation influence for journal aggregates of scientific publications : theory, with application to the literature of physics. Information processing and management, 12, 297-312.
  10. Cardon D. (2013). Dans l'esprit du PageRank. Une enquête sur l'algorithme de Google, Réseaux, 177, 63-95.
  11. C. Lee Giles et Isaac G. Councill. Who gets acknowledged: Measuring scientific contributions through automatic acknowledgment indexing. In Proceedings of the National Academy of Sciences 101(51):17599–17604, 21 décembre 2004
  12. Pontille D., Torny D., «La manufacture de l'évaluation scientifique : algorithmes, jeux de données, outils bibliométriques », Réseaux, 177, 25-61, 2013.
  13. Murugesan P & Moravcsik M J. (1978), Variation of the nature of citation measures with journals and scientific specialties. Journal of the American Society of Information Science 29:141-155
  14. Schubert, A, & Braun, T. (1996). Cross-field normalization of scientometric indicators, Scientometrics, 36(3), 311-324.
  15. Sen, B.K. (1992). Normalized impact factor. Journal of Documentation, 48 (3), 318-325.
  16. Bergstrom, C. T. (2007). « Eigenfactor: Measuring the value and prestige of scholarly journals ». College & Research Libraries News 68 (5).
  17. Zitt M., Ramanana-Rahary S., Bassecoulard E.. (2005). Relativity of citation performance and excellence measures: from cross-field to cross-scale effects of field-normalisation, Scientometrics, vol 63, n°2, pp. 373-401.
  18. Zitt M., Small H. (2008) Modifying the Journal Impact Factor by Fractional Citation Weighting: the Audience Factor, Journal of the American Society for Information Science and Technology, vol 59, n°11, pp. 1856-1860.
  19. Moed, H.F. Measuring contextual citation impact of scientific journals, à paraître dans Journal of Informetrics, 2010 arxiv.org/pdf/0911.2632
  20. Yves Gingras, La fièvre de l’évaluation de la recherche, Centre universitaire de recherche sur la science et la technologie, mai 2008
  21. Godin B., Pour une sociologie de la statistique sur la science et l'innovation, Canadian Science and Innovation Indicators Consortium (CSIIC), Working Paper no 26, 2004.
  22. Académie des sciences, « Du bon usage de la bibliométrie pour l'évaluation individuelle des chercheurs », 2011
  23. [PDF] Bibliometrics - an introduction, University College Dublin Library, 2009
  24. (en) Description de la base de donnée ISI
  25. Informations sur Scopus
  26. J. Schöpfel et H. Prost, « Le JCR facteur d’impact (IF) et le SCImago Journal Rank Indicator (SJR) des revues françaises : une étude comparative », in Psychologie française 54 (2009) 287–305
  27. Pour une liste plus complète recensant ces bases de données, consulter la catégorie Catégorie:Base de données bibliographiques.
  28. Présentation de l'ERIH
  29. L’ERIH retire son classement par lettres des revues (22 janvier 2009), Sauvons l'Université (avec lien vers Index of journals scraps controversial grades, The Times of Higher Education, 22 janvier 2009)
  30. N. C. Liu et Y. Cheng, « Academic Ranking of World Universities – Methodologies and Problems », Higher Education in Europe, 30, 2, 2005 ainsi que M. Zitt et G. Filliatreau, « Big is (made) Beautiful », Première Conférence internationale sur les universités de classe mondiale, Shanghai, juin 2005.
  31. a, b, c, d, e et f [PDF]Que mesurent les indicateurs bibliométriques ?, document d'analyse de la Commission d'évaluation de l'INRIA, Préparé par A-M. Kermarrec, E. Faou, J-P. Merlet (rapporteur), P. Robert, L. Segoufin. Validé par la Commission d’Évaluation du 12 septembre 2007.
  32. Leydesdorff L. (2001), The Challenge of Scientometrics: The Development, Measurement, and Self-Organization of Scientific Communications, Universal, 344 p
  33. Weingart P. (2005) Impact of bibliometrics upon the science system: inadvertent consequences? Scientometrics 62, 1, 117–31
  34. Van Raan, A (2004), Measuring science. in H Moed, W Glänzel and U Schmoch, Eds., Handbook of Quantitative Science and Technology Research, pp. 19–50, Kluwer.
  35. Zitt M., Bassecoulard E. (2008) Challenges for scientometric indicators: data demining, knowledge flows measurements and diversity issues, Theme section / section thématique: The use and misuse of bibliometric indices in evaluating scholarly performance, Ethics in science and environmental politics 8, 1, 49-60 -- et nombreuses autres contributions dans ce numéro thématique.
  36. Lepori B., Barré R., Filliatreau G. (2008). New perspectives and challenges for the design and production of S&T indicators, Research Evaluation, 17 (1), 33-44.
  37. a, b et c Laurence Coutrot, Sur l’usage récent des indicateurs bibliométriques comme outil d’évaluation de la recherche scientifique, Bulletin de méthodologie sociologique, octobre 2008, no 100, p. 45-50
  38. « Le h-index d'Albert Einstein », sur rachelgliese.wordpress.com
  39. a, b et c Olivier Boulnois, « L’évaluation automatisée en sciences humaines »,‎ 22 octobre 2008
  40. A. Van Raan, Sleeping beauties in science, Scientometrics, Vol. 59, No. 3 (2004) 461-466
  41. a, b et c [PDF] Que disent les indicateurs ?, entretien avec Jean-Pierre Merlet, animateur du groupe de réflexion sur les indicateurs de la commission d’évaluation de l’INRIA, Lettre d'information de l'INRIA, no 59, mai 2007
  42. Gaming the Impact Factor Puts Journal In Time-out http://scholarlykitchen.sspnet.org/2011/10/17/gaming-the-impact-factor-puts-journal-in-time-out/
  43. Glänzel W., Moed H.F. (2002), Journal impact measures in bibliometric research, state-of-the-art report, Scientometrics 53, 2, 171-193
  44. Bordons M., Fernandez M.T., Gomez I. (2004) Advantages and limitations in the use of Impact Factor measures for the assessment of research performance, Scientometrics 53, 2, 195-206
  45. Pontille D., Torny D., « The controversial policies of journal ratings: evaluating social sciences and humanities », Research Evaluation, 19(5), 347-360, 2010
  46. Barbara Cassin, « On classe les chercheurs comme Google classe les sites », sur Rue89,‎ 9 février 2009
  47. a et b ANCMSP (Association nationale des candidats aux métiers de la science politique), « Note sur le classement des revues AERES en science politique »,‎ 5 septembre 2008
  48. Olivier Ertzscheid (maître de conférences en sciences de l'information), « On a perdu la 71ème section !! »,‎ 2 octobre 2008

Bibliographie[modifier | modifier le code]

  • Braun T., A. Schubert, W. Glanzel Scientometric Indicators: A Thirty-Two Country Comparative Evaluation of Publishing Performance and Citation Impact, World Scientific Publishing Company, 250 p. 1985 (pour la méthodologie)
  • Egghe L., Rousseau R., Introduction to informetrics. Quantitative methods in library, documentation and information science, Elsevier, 430 p., 1990
  • Garfield E., Citation indexing: its theory and applications in science, technology and humanities, préface de R.K. Merton, John Wiley, 1979
  • Godin B., La science sous observation : cent ans de mesure sur les scientifiques, 1906-2006, Presses de l’Université Laval, 2005.
  • Godin B., Measurement and Statistics on Science and Technology: 1920 to the Present, Routledge, 2005
  • Godin B., On the Origins of Bibliometrics, Project on the History and Sociology of S&T Statistics, Canadian Science and Innovation Indicators Consortium (CSIIC), Working Paper no 33, 2006.
  • Lafouge T., Le Coadic Y.F., Michel C., Éléments de statistique et de mathématiques de l'information: infométrie, bibliométrie, médiamétrie, scientométrie, muséométrie, Presses de l'Enssib, 306 p., 2002
  • Moed H.F., Glänzel W., Schmoch U., Ed., Handbook of quantitative science and technology research: the use of publications and patent statistics in studies of S&T systems, Kluwer, 800 p., 2004
  • Moed, H. F., Citation Analysis In Research Evaluation, Springer, 364 p., 2005
  • Narin F. Evaluative bibliometrics: the use of publication and citation analysis in the evaluation of scientific activity, 459 p. Computer Horizons (NSF C-627), 1976
  • Price, D.J. Little science, big science, Columbia Un. Press, 118 p., 1965 - Trad. française Science et suprascience, 124 p., 1972, Fayard, 1972

Liens externes[modifier | modifier le code]