Marlene's corner

Dans un commentaire à un post précédent, que je reprend ici (parce que la visibilité des commentaires sur cette plateforme de blog, c'est une horreur, de même que le référencement, mais bon, c'est une autre histoire), Bernard Teissier nous signale une information loin d'être anodine :

"Désolé de squatter ainsi le blog, mais comme ni je twitte, ni je blogue moi-même je ne vois pas ou mieux qu'ici mentionner cette info : dans le document annexe au Projet de Loi de Finances 2010 pour la MIRES, l'indicateur du programme 150 sur la consultation de la doc electro a purement et simplement disparu...  [En 2009 il était formulé ainsi : INDICATEUR 6.3 Consultation des ressources électroniques : nombre de documents téléchargés et taux de demandes satisfaites. Il est vrai que c'était débile de vouloir synthétiser cela en seul chiffre, mais du coup notre activité n'existe plus !]"

Ce qui m'interpelle, c'est ce qui est mentionné dans les commentaires de l'un des 2 indicateurs restants, celui sur le taux de fréquentation des bibliothèques : "Les bibliothèques universitaires, au même titre que certains grands équipements publics, ont réussi depuis plusieurs années à fidéliser leurs lecteurs. Cependant, le développement de l’accès à distance pour les usagers, qui est un autre des axes de la politique des bibliothèques universitaires, joue en sens contraire de la fréquentation comptabilisée à travers les entrées : les usagers n’ont plus besoin de se déplacer et ont ainsi accès aux ressources électroniques des bibliothèques dans le cadre d’une « fréquentation » non comptabilisable mais qui, elle aussi, va croissant. Ce biais pèse de manière défavorable sur le numérateur du ratio."

Au lieu d'essayer de bâtir des indicateurs plus en phase avec la réalité des pratiques des étudiants et des chercheurs (car bizzarement les questions documentaires ne trouvent leur place que dans l'amélioration des condition de travail des étudiants, alors que la majorité des ressources électroniques achetées par les BU sert les chercheurs), prenant en compte la fréquentation sur place et à distance, on déduit abruptement que cette ("pseudo") fréquentation n'est pas comptabilisable et on supprime l'indicateur. Alors à quoi ça sert que nous nous décarcassions à récupérer, pondérer, harmoniser et mettre en forme nos statistiques d'usage ? Pour notre gestion locale, c'est sûr, mais quel dommage de ne pas utiliser ce type d'outil d'aide au pilotage à plus grande échelle...

PS : Bernard, tu reviens quand tu veux... ;-)

[photo : andre5]

Dans le calendrier qui rythme la vie trépidante du responsable de la doc élec, le mois de février est le début de la longue quête du saint graal, qui va lui permettre de renseigner les indicateurs RAP puis l'ESGBU, faire son rapport d'activité, voire un bilan statistique annuel (je suppose que c'est à peu près pareil partout, enfin chez moi c'est comme ça) : la collecte des statistiques d'usage.
Pourquoi cette activité en apparence anodine prend-elle des allures de parcours du combattant ? L'objectif n'est pourtant pas insurmontable a priori : il s'agit de mettre dans un tableur ou une base de données des informations pour évaluer l'utilisation des ressources électroniques achetées par son établissement, données sur l'utilisation qu'il paraît pertinent de pouvoir croiser ensuite avec les coûts, les effectifs, etc. Mais tout un tas d'embûches guettent le bib-doc-élec :
- les éditeurs qui ne fournissent pas de statistiques du tout (Dalloz)
- les éditeurs qui fournissent des stats en pdf (vachement sympa quand on fait son rapport avec excel, ben oui pour faire des calculs c'est quand même plus indiqué) (Doctrinal, Juris-Classeurs)
- les éditeurs qui n'ont visiblement jamais entendu parler de COUNTER (tous les éditeurs juridiques)
- les éditeurs qui inventent leurs propres indicateurs (Universalis, Kompass)
- les éditeurs qu'il faut relancer plusieurs fois par mél pour récupérer les statistiques (Doctrinal, Lamyline)
- les éditeurs qui fournissent des stats "roulantes" sur 12 mois (Chemical Abstracts)
- les éditeurs qui fournissent des chiffres pour un groupement d'établissement, sans moyen de les distinguer (par IP par exemple) (Factiva)
- et j'en oublie sûrement...
Du coup cette opération, qui devrait prendre à mon avis une semaine maximum tout compris (collecte + traitement des données), s'étale sur 1 à 2 mois, et le bibliothécaire doit composer avec cette contrainte méconnue (ou ignorée) des responsables, qui nous demandent des chiffres "même partiels" pour début mars...
[photo : shiratski]

J'avais relayé ici il y a quelques semaines l'expérience de peer-review ouverte menée par un chercheur de l'Université de Californie à San Diego pour la publication d'un ouvrage (sur les veux vidéo) aux presses du MIT. Il était curieux de comparer les résultats du processus de validation officiel avec celle ayant eu lieu sur son blog. Les résultats sont arrivés, et l'ouvrage a été accepté pour publication après quelques changements mineurs. Au final, le chercheur constate :
- que le nombre de commentaires conséquent (plus de 400) ne permet pas d'entretenir une véritable conversation avec les commentateurs
- que la plupart des commentateurs ont signé de leur nom, alors qu'ils pouvaient commenter anonymement
- que, contre toute attente, les commentaires étaient plutôt critiques que trop bienveillants
Pour l'éditeur, ce modèle de validation est victime de son succès : le grand nombre d'intervenants rend le travail de suivi (notamment éditorial) difficile à suivre. Il se dit néanmoins prêt à renouveller l'expérience.
[photo : marmotte73]

Peut-être un nouvel acteur dans les outils d'évaluation de la recherche ? En effet, SCImago permet de sortir pour les revues scientifiques tout un tas d'indicateurs : nombre d'articles publiés, nombre de citations, H-index,... Les données proviennent de Scopus, la base (développée par Elsevier) concurrente du Journal of Citations Report (développé par Thomson-ISI), et chaque revue se voit attribuer un SJR (Scimago Journal Rank), obtenu grâce à l'algoritme de recherche/de tri de Google, le fameux Page Rank. N'ayant pas d'accès à Scopus, je ne peux pas savoir dans quelle mesure ce qui est proposé ici en libre accès est similaire/différent de l'outil d'Elsevier - si de charitables lecteurs veulent bien me dire ce qu'il en est dans les commentaires...
[photo : mark-thisorthat]

Dans ce post sur The ubiquitous librarian, Brian Matthews s'intéresse aux statistiques de consultation des archives ouvertes : il a consulté une dizaine d'archives américaines et regardé quels étaient les taux de téléchargement des documents. Il n'a pas mené une analyse détaillée, mais juste regardé "à la louche" quels étaient les documents les plus consultés. Et constate que, pour toutes les archives, on observe d'une part un phénomène de (très) longue traîne, et d'autre part une grande disparité du nombre de consultations, qui vont de 500 pour un article de l'Université de l'Oregon à plus de 34 000 pour une thèse de l'Université du Maryland.
Il faudrait bien sûr creuser un peu le mode de recueil des stats, vérifier que ce sont bien des consultations qui sont comparées (et pas de simples hits), bref faire quelquechose d'un peu plus scientifique, mais cela donne quand même un aperçu des usages, et permet de se poser quelques questions :
- Quelle est la provenance des visiteurs : une recherche sur Google, Google Scholar, l'OPAC ? - penser à installer un outil d'analyse statistique sur le serveur qui héberge l'archive locale, et se renseigner sur ce qui existe / ce qui est prévu sur HAL ; d'où aussi l'importance de l'interopérabilité et du référencement
- Quel type de document est le plus consulté : les thèses, les articles ? - L'effet de longue traîne joue-t-il sur tous les documents ?
- Finalement, comment estime-t-on que l'archive "marche" : en fonction du nombre de dépôts, certes, mais aussi sans doute en fonction du nombre de connexions - mais à partir de combien de connexions ?
[Crédit photo : Billa]

Intéressant, ce comparatif Google Scholar / Web of Science rappelle les différents défauts de l'un et de l'autre, ainsi que leurs défauts communs : mauvaise gestion des diacritiques et des ligatures typographiques. Son auteur, le professeur Anne Harzing, s'appuie sur Google Scholar pour alimenter son logiciel d'analyse des citations bibliographiques, ironiquement baptisé Publish or perish (gratuit pour un usage personnel).
[Crédit photo : Pixel Perfect]

La dernière livraison de AIU Horizons, nouvelles de l'enseignement supérieur dans le monde, la newsletter de l'Association Internationale des Universités, consacre un dossier très riche aux "Classements, typologie des établissements et classifications" des universités.
Merci à JB pour l'info.

ARWU, ça vous dit quelquechose ? Non ? Mais si, si vous travaillez en université, vous en avez forcément entendu parler ces dernières années, sous son appellation plus courante qui est... "le classement de Shangaï" !!
Pour les non-initiés, il s'agit du classement international des 500 "meilleures" universités mis au point par l'l'institut pour l'enseignement supérieur de l'Université Jiao Tong de Shangaï. L'objectif de l'exercice est de juger de l'excellence des universités, dans un contexte de concurrence mondialisée, à partir d'une série de critères objectifs, parmi lesquels :
- le nombre de Prix Nobel et de Médailles Fields (l'équivalent du Nobel pour les mathématiques)
- le nombre de chercheurs les plus cités (d'après HighlyCited d'ISI
- le nombre total d'articles publiés (=indexés dans la base Web of Science d'ISI)
- le nombre d'articles publiés dans les revues Nature et Science
- la taille de l'établissement (effectifs étudiants et enseignants)
Les universités ont pris l'habitude depuis l'été 2003 de scruter fébrilement la liste de Shangaï, pour voir si elle y sont, si elles ont gagné ou perdu des places... Et ce, malgré la controverse sur ces différents classements : entre autres biais, on leur reproche que les critères pris en compte se focalisent sur les publications dans les revues, ne prennent pas en compte les production non anglophones, et les outils de mesure (la panoplie des bases ISI) ne sont pas fiables, notamment en ce qui concerne le nommage des institutions.
Néanmoins ces jours-ci vient de sortir la première version du classement de Shangaï par discipline : les universités sont classées selon 5 grands champs disciplinaires (Sciences sociales, Médecine et pharmacie, Sciences de la vie, Sciences de l'ingénieur et informatique, Sciences dures et mathématiques), et 2 critères ont été ajoutés : le nombre de publications dans les revues les plus côtées de la discipline (selon le Journal of Citation Report d'ISI), et le montant des dépenses de recherche (uniquement pour les sciences de l'ingénieur, et encore, que pour les US et le Canada).

Voilà quelquechose dont on a, à mon avis, pas fini d'entendre parler : l'eigenfactor. Il s'agit d'un outil d'évaluation des revues scientifiques, concurrent du facteur d'impact ("impact factor" en VO) mis au point par Eugene Garfield dans les années 60. C'est en fait un projet de recherche mené par Ted & Carl Bergstrom de l'Université de Washington, qui vise à développer de nouvelles méthodes d'évaluation de la recherche. Ce qui est intéressant ici, c'est que le projet prend en compte une échelle d'évaluation + importante (tout le réseau), qu'il traite aussi les citations dans les thèses, les magazines... et qu'il est lié à une autre réalisation du tandem Bergstrom, journalprices.com (dont j'avais parlé dans Biblioacid en novembre 2005), ce qui lui permet de fournir des informations tarifaires sur les revues analysées, et si ça c'est pas de la valeur ajoutée... Le tout en libre accès naturellement.
Certes ce n'est pour l'instant qu'un projet, et c'est pas demain que le célèbre Impact Factor sera détrôné, mais quand même, c'est un indicateur à suivre de près.

Dans ce post sur Academic productivity ("le guide de survie du checheur du 21ème siècle ;-)), Dario explore l'idée d'une utilisation des outils sociaux du web 2.0 comme des outils d'évaluation "soft" de l'activité scientifique. Il s'appuie notamment sur la dimension sociale des outils de gestion de références en ligne comme Connotea ou CiteUlike qui, s'ils sont considérés à l'échelle d'une communauté (institutionnelle ou disciplinaire), permettent d'afficher des tendances sur l'activité de recherche desdites communautés. La base du système, ce sont les métadonnées : les tags attachés aux articles et autres documents sélectionnés par les utilisateurs. Ensuite l'utilisation des fonctionnalités proposées par del.icio.us et autres outils de partage des bookmarks, comme la notion de popularité, ainsi que les possibilités d'annotation et de commentaire permettent une "pré-évaluation" des contenus qui peut constituer un indicateur utile.
Tout est plus (et mieux) détaillé dans le post et les commentaires ; lecture recommandée donc.