A retenir dans l'agenda de l'Urfist ...

23/01/2017 : Dans le cadre d’un appel à projets « Soutien aux projets innovants de formation » (SPIF) émis par PSL (ANR 10-IDEX-0001-02), l’École a achevé en janvier 2017 la conception d’un tutoriel multimedia interactif en ligne sur les brevets d’invention , confiée à l’URFIST de Paris, administrativement rattachée à l’ENC.

22/08/2016 : Le nom de domaine du site de l'URFIST a changé. Au lieu de urfist.enc.sorbonne.fr, il faut désormais saisir l'adresse suivante : urfist.enc-sorbonne.fr.
Merci de tenir compte de ce changement et de mettre à jour vos favoris et vos partages d'urls.

Version imprimable

Liens utiles sur les notions de Facteurs d'Impact et de Citations (support complémentaire à la formation "Bibliométrie : modèles, outils et méthodes")


Cette page de liens se présente comme une plate-forme utilisée lors du stage pratique de Bibliométrie de l’URFIST de Paris. Elle permet aux participants de naviguer d’un site à l’autre au fil de la formation.
Sa présentation ne se prête pas à une lecture isolée assortie d’un apprentissage individuel. Elle vise prioritairement un groupe animé par un formateur qui suit une démarche progressive.
Néanmoins, le tout premier lien concerne un diaporama d’une cinquantaine de slides - intitulé « Evaluation des publications scientifiques » - qui peut être abordé d’emblée par toute personne désireuse de se familiariser avec les principes fondamentaux de la bibliométrie.
 
La page se subdivise en plusieurs chapitres.
 

1. Bases de l’Institute for scientific information (ISI) – Web of Science (WoS) et Journal Citation Reports (JCR) - bref aperçu analytique et critique

Le principe de la formation repose sur l’examen initial des bases bibliométriques de l’Institute for Scientific Information (I.S.I.) : le Web of Science et le Journal Citation Reports.
 
Le lien http://isiknowledge.com permet à tout utilisateur situé dans un environnement numérique de travail ayant accès aux bases de l’ISI sur abonnement, de s’y connecter directement sans formalité intermédiaire.
 
Pour figurer dans la base ISI Highly Cited, le chercheur aura capitalisé suffisamment de citations afin de pouvoir se positionner dans le top 1% du nombre total de citations du champ disciplinaire ESI (Essential Science Indicators, application Thomson complémentaire du Web of science) auquel il est considéré appartenir. L'ESI compte 22 champs disciplinaires.
La présence de chercheurs dans cette base fait bénéficier leur institution de rattachement, ancienne ou actuelle, d’un critère de mention dans le classement de Shanghai, à hauteur de 20% dans la déclinaison des critères (voir plus bas dans le descriptif du lien Classement de Shanghai, chap. 4).
 
Suivent les références de deux articles de Nature, précurseurs d’un ensemble de critiques que formalisent ou officialisent aujourd’hui des rapports comme celui de l’Académie des Sciences du 17 janvier 2011. Entre autres sujets de controverse, le fameux Impact Factor figure en bonne place dans ces articles.
 

2. Modèles hors WoS natif

Présenté en introduction, le modèle ISI est aujourd’hui adopté par la plupart des administrations centrales chargées de la Recherche, au niveau international.
 
Nous présentons ici d’autres modèles : l’Eigenfactor appliqué au Journal Citation Reports et le Scimago Journal Ranking appliqué à la base Scopus d’Elsevier. Ces deux modèles reposent sur le principe mathématique de la marche aléatoire (random walk), simulation de type stochastique qui revient à tenir compte de la traçabilité des citations. Il ne suffit pas qu’un article soit cité, encore faut-il qu’il le soit par des revues elles-mêmes citées par d’autres, par des chercheurs dont la réputation est reconnue. Ce principe de traçabilité fait défaut au modèle de l’ISI.
 
De même, au facteur H de Hirsch, dont les biais ont été démontrés, tant par des bibliomètres de renom comme le Québécois Yves Gingras, que par l’Académie des Sciences, celle-ci oppose aujourd’hui le facteur G de Leo Egghe, qui met en valeur les articles toujours cités dix ans après leur publication et déconseille formellement l’utilisation du facteur H pour évaluer les jeunes chercheurs. Sur ce dernier point, l’éditorial des PNAS de décembre 2010 émet une opinion identique.
 
Autre modèle alternatif : celui des « boîtes à moustaches », alias Box Plots de l’INRA, fondé sur le principe de distribution de Lotka, repris par Marie-Hélène Magri et son équipe. Il valorise les médianes et non les moyennes, lesquelles sont privilégiées par l’ISI, et faussent de multiples modalités de calcul.
 
Enfin, le projet SIGAPS de Lille, étendu à toutes les institutions de recherche médicale, utilise une autre base que celle de l’ISI (Medline) et utilise l’ordre dans lequel sont déclinés les auteurs en tête d’une publication pour concevoir les calculs (priorités dans la contribution effective des co-auteurs au travail rendu, identification du chef de service en ultime position…).
 

3. Bases et ressources alternatives

Les pionniers du mouvement des Archives ouvertes (Open Access Initiative) Steven Harnad et Tim Brody, ont mis au point une base de données analytique de citations adaptée au miroir britannique de la base ArXiv : Citebase, fermée en 2012. Des graphiques permettaient de suivre l’évolution concomitante des téléchargements et des citations. Des liens dirigaient vers Scholar Google. Une analyse des citations partagées, identique au principe des Shared References du WoS, côtoyait l’analyse des articles co-cités avec l’article de référence.

Co-citations et références partagées sont deux principes qui définissent la notion de réseau social de chercheurs mise en avant par les nouveaux modèles bibliométriques.

CiteseerX, de l’université de Pittsburgh (Pennsylvanie), spécialisée dans les mathématiques appliquées et l’informatique, reprend ces deux principes fondamentaux.

 
Will Harzing, économiste enseignant à Londres, a mis au point un système d’évaluation statistique bibliométrique adapté à Scholar Google : Publish or Perish (alias POP). Il est notamment intéressant pour son module d’aide, au chapitre Metrics, dans lequel on voit apparaître des facteurs de pondération associés à l’ancienneté de la publication et au nombre de co-auteurs. Arguments repris par le rapport de l’Académie de janvier 2011.
 

4. Instances d’évaluation, ressources et documents associés

      a) Shanghai et la Lolf

 
Ces liens définissent le contexte international puis national dans lequel se situe la méthodologie en usage aujourd’hui en France.
 
Au niveau international, le Classement de Shanghai est toujours suivi avec beaucoup d’attention par le Ministère chargé de la Recherche et de l’Enseignement supérieur. L’intérêt d’une présentation de ce site réside dans le pourcentage de critères de classement qui reviennent à l’ISI. 40 % de façon brute (20% Highly Cited et 20% WoS / JCR), qui peut franchir la barre des 50% voire plus, avec la nécessité de publier dans Science et Nature (20%) : deux périodiques d’excellence mis en exergue en très grande partie du fait de l’Impact Factor singulièrement élevé que leur attribue le JCR de l’ISI.
 
Au niveau national, plusieurs Programmes numérotés 1nn en fonction des grands axes de recherche, sont élaborés par les ministères de tutelle des organismes de recherche dans le cadre de la LOLF (Loi organique des lois de finances). Ils présentent les indicateurs en fonction desquels sont évalués et répartis les crédits destinés à subventionner les établissement concernés. Le n°150 (alias P150) touche la recherche spécifiquement universitaire. Un indicateur essentiel recouvre les publications scientifiques, i.e. ce qui est rendu public et donc témoigne de la visibilité du travail effectué, en échange duquel la subvention est accordée. La performance correspond au delta séparant cette contribution financière « justifiée au premier euro du point de vue du citoyen », du travail fourni au vu de ce que les publications rendent visible et comparable aux niveaux national et international.
Parallèlement aux publications scientifiques, deux autres critères sont mis en avant : le dépôt de Brevets et la participation aux PCRD (Programmes Cadres de Recherche & Développement) européens. Mais le volet Publications reste capital.
 

      b) L’OST (Observatoire des Sciences et des Techniques)

 
Une série de liens concerne l’OST : GIP interministériel chargé d’élaborer des indicateurs conformes aux prescriptions de la LOLF. L’Observatoire reprend les 3 volets du P150 (Publications, Brevets, PCRD) et propose, entre autres, sept indicateurs fondamentaux : « part de publications » d’une entité rapportée à l’Europe ou au monde (références géographiques également visées dans les autres indicateurs) ; « indice de spécialisation scientifique » ; « part de citations à deux ans » ; « indice d’impact relatif à deux ans » ; « indice d’impact espéré à deux ans » ; « indice d'activité par classe de citations » ; « part d’articles en co-publication ». Ils sont définis ci-après sous le lien « Indicateurs de l’OST ».
 
Les modalités de comptage sont, on le sait, largement tributaires du libellé des affiliations. Depuis 2007, différents PRES (auxquels ont succédé les COMUÉ) et Centres de recherche ont défini des standards de rédaction suivant les recommandations variées et non arrêtées du Projet NormAdresses de l’OST, qui fait ici l’objet d’un lien particulier. Il expose notamment les modalités des rédactions mono- et multi-lignes. La seconde semble avoir, à l'époque, la faveur de la majorité. Depuis le second semestre 2015 le modèle monoligne est à nouveau majoritairement recommandé.
 
On donne ensuite un exemple de Tableau de bord IPERU (Indicateurs de production des établissements de recherche universitaire).
 
Celui-ci est réalisé notamment à l’aide du Mémento à l’usage des opérateurs qui, localement dans les organismes évalués, sont chargés de le renseigner. On y voit définies les modalités de comptage : « de présence » et « fractionnaire ». La première enregistre de façon unitaire chaque entité citée en zones d’adresses (d’où un nombre total de publications très supérieur à ce que chaque entité a effectivement réalisé, notamment par le truchement d’UMR), la seconde rapporte le bilan unitaire de chaque entité à la proportion qu’elle représente (citée sur quatre lignes d’adresse, l’entité ne comptabilise qu’une seule publication constituée par quatre segments). Le Mémento mentionne également le répertoire des disciplines de l’OST, décliné de façon synthétique à partir des multiples Subject Categories du JCR. Une synthèse des évaluations nationales paraît tous les deux ans (Rapport biennal).
 
Un répertoire général des documents de l’OST permet de naviguer dans cette documentation technique abondante et précise.
 

      c) L’évaluation en Sciences humaines


En Sciences humaines, la problématique de l’évaluation est particulière car en France, le support privilégié de la publication scientifique est plutôt le livre que le périodique ; de plus, en langue française. Les paramètres de base de l’ISI sont tout à fait adaptés au mode opératoire en Sciences expérimentales, mais nullement au domaine Lettres & Sciences humaines. Dans le cadre de la European Science Foundation, a été élaboré l’European Reference Index for the Humanities (ERIH) qui liste uniquement des périodiques, eux-mêmes à forte tonalité anglo-saxonne.

 
Ces listes thématiques ont été récupérées par l’AERES dans des conditions généralement inadéquates en regard de la recherche française en Sciences humaines. En outre, certaines listes thématiques sont dépourvues de codes alphanumériques de classification hiérarchisée, alors que d’autres en utilisent ou bien mentionnent le titre des grandes bases bibliométriques et bibliographiques indexant les titres listés.
 

      d) Le point de vue de grandes institutions (CNRS, INRIA, Académie)

 
Cette suite de liens s’achève par trois documents émanant de grands organismes confrontés à la problématique de l’évaluation : le CNRS (critères d’évaluation par section), l’INRIA (outre l’examen des caractéristiques de chaque grand système d’évaluation, le rapport pointé par ce lien présente une analyse comparative de différentes sources de comptage : WoS, Scopus, Scholar Google, Citeseer, DBLP) et l’Académie des Sciences avec son fameux rapport intitulé Du bon usage de la bibliométrie pour l’évaluation individuelle des chercheurs du 17 janvier 2011.
 

En savoir (un peu) plus…

 
Suggestions bibliographiques de Manuel Durand-Barthez en libre accès :
 

 

Liens

 

Diaporama, présentation thématique

Bases de l’Institute for scientific information (ISI-Clarivate) – Web of Science (WOS) – bref aperçu critique

 

Modèles hors WOS natif

Bases et ressources alternatives

Instances d’évaluation, ressources et documents associés

Valid XHTML 1.0 Transitional CSS Valide !