Avis: En raison de la grève à Postes Canada, des délais hors de notre contrôle s’ajouteront pour la réception des documents physiques demandés dans les autres bibliothèques universitaires du Québec et via le service de Prêt entre bibliothèques (PEB). Merci de votre compréhension.

Limites des indicateurs bibliométriques

Limites à considérer.

Chaque outil a ses forces et ses faiblesses

Les principaux outils utilisés pour obtenir des données sur les citations ont chacun des forces et des faiblesses au regard de différents critères et chaque outil couvre mieux certaines disciplines que d'autres.

Les livres, en particulier les non anglophones, sont peu couverts dans Scopus et Web of Science. Ces deux outils sont donc inadéquats pour l'analyse bibliométrique des sciences humaines et sociales. Google Scholar couvre mieux ce type de documents.

Scopus assigne plusieurs types de documents: "article" , "review", "conference paper", etc. Web of Science assigne aussi des types de document, mais il distinguerait mal les articles et les articles de conférence. Enfin, Google Scholar n'assigne pas de type de document, sauf aux livres.

Pour en savoir plus, consultez le tableau comparatif.

Toutes les disciplines ont leurs particularités

Considérant que les taux et les pratiques de citations varient beaucoup d'une discipline à l'autre, la plupart des indicateurs bibliométriques ne permettent pas de comparer des disciplines différentes.

Certains indicateurs bibliométriques, comme le nombre de citations reçues, peuvent toutefois être normalisés pour permettre de faire des comparaisons plus justes entre différentes disciplines. Cependant, une telle normalisation est souvent problématique, à cause de la difficulté d'établir des catégories de disciplines aux frontières nettes et homogènes pour les pratiques de citations.

La repérabilité sur le Web favorise les citations

Un article, même s'il est de grande qualité, peut être peu cité du fait qu'il est difficile à trouver sur le Web, donc peu lu par les chercheurs d'une discipline.

En effet, les chercheurs, confrontés au nombre grandissant de publications en ligne, se fient de plus en plus aux algorithmes de pertinence des moteurs de recherche comme Google Scholar pour repérer des articles. Or, ces algorithmes évaluent les publications selon des critères en grande partie indépendants de la qualité des documents:

la fréquence et la position dans le document des mots-clés cherchés avec le moteur de recherche;
le nombre d'hyperliens pointant vers le document;
le nombre de citations reçues par le document;
etc.

L'impact peut se faire attendre

Les citations reçues par un document ne permettent pas toujours de prévoir son impact futur. En effet, cela peut prendre plusieurs années avant qu'un document soit cité de façon significative.

Par exemple, un article de physique théorique peut passer inaperçu à sa publication, puis devenir très cité quand une expérience menée quelques années plus tard confirme sa prédiction.

Les citations et l'impact ne sont pas toujours liés

Le nombre de citations est à la base de la plupart des indicateurs bibliométriques de l'impact. Les documents peuvent toutefois être cités pour de mauvaises raisons:

augmenter les statistiques de citations de collègues ou de soi-même (pour manipuler les indicateurs d'impact);
satisfaire les réviseurs potentiels de l'article;
critiquer de mauvais résultats;
clarifier une terminologie;
faire des suggestions de lecture pour se familiariser avec un sujet.

Les articles de conférence ont des limites spécifiques

Une analyse bibliométrique est plus complète si elle considère les articles de conférence.

Pour plusieurs disciplines, les articles de conférence sont particulièrement utilisés comme moyen de diffusion de nouveaux résultats. On dénote un plus grand pourcentage de citations vers des articles de conférence dans les disciplines de l'informatique et l'ingénierie.
Il est justifié d'évaluer les articles scientifiques et les articles de conférence séparément. Les indicateurs de ces 2 types de documents, tel que le nombre de citations reçues, diffèrent généralement.
Les articles de conférence sont généralement cités plus rapidement que les autres types de document. Leur taux de citation décline également plus rapidement.
Plusieurs articles de conférence peuvent être rédigés pour le même projet de recherche. Or, accorder la même valeur à des documents faisant les mêmes analyses des mêmes résultats de recherche gonfle artificiellement les publications d'un auteur.

Le nombre d'articles publiés peut être multiplié sans raison

Les auteurs peuvent multiplier volontairement leur nombre d'articles en publiant, par exemple, les résultats d'un même projet scientifique en plusieurs petits articles, plutôt qu‘en un seul. Cette pratique, nommée «salami slicing», affaiblit la valeur du nombre de publications comme indicateur de la production scientifique.

Un indicateur de performance d'auteur n'est pas une validation par les pairs

Ils ne doivent pas remplacer l'évaluation de la qualité de la recherche par des experts.

Ils ne peuvent être utilisés que pour comparer des auteurs semblables : même discipline, même nombre d'années d'expérience.

Ils sont plus fiables pour des chercheurs en fin de carrière. Ils ne tiennent pas compte du potentiel des jeunes chercheurs.

Il est vrai que de fortes valeurs d'indicateurs d'impact permettent habituellement d'identifier des chercheurs performants. Cependant, un auteur avec des valeurs moindres peut quand même avoir produit des travaux de bonne qualité.

Les facteurs d'impact des revues où les auteurs ont publié ne constituent pas des indicateurs d'impact valides. Les auteurs doivent être évalués à partir de leurs propres publications.