Marlene's corner

J'avais relayé ici il y a quelques semaines l'expérience de peer-review ouverte menée par un chercheur de l'Université de Californie à San Diego pour la publication d'un ouvrage (sur les veux vidéo) aux presses du MIT. Il était curieux de comparer les résultats du processus de validation officiel avec celle ayant eu lieu sur son blog. Les résultats sont arrivés, et l'ouvrage a été accepté pour publication après quelques changements mineurs. Au final, le chercheur constate :
- que le nombre de commentaires conséquent (plus de 400) ne permet pas d'entretenir une véritable conversation avec les commentateurs
- que la plupart des commentateurs ont signé de leur nom, alors qu'ils pouvaient commenter anonymement
- que, contre toute attente, les commentaires étaient plutôt critiques que trop bienveillants
Pour l'éditeur, ce modèle de validation est victime de son succès : le grand nombre d'intervenants rend le travail de suivi (notamment éditorial) difficile à suivre. Il se dit néanmoins prêt à renouveller l'expérience.
[photo : marmotte73]

Peut-être un nouvel acteur dans les outils d'évaluation de la recherche ? En effet, SCImago permet de sortir pour les revues scientifiques tout un tas d'indicateurs : nombre d'articles publiés, nombre de citations, H-index,... Les données proviennent de Scopus, la base (développée par Elsevier) concurrente du Journal of Citations Report (développé par Thomson-ISI), et chaque revue se voit attribuer un SJR (Scimago Journal Rank), obtenu grâce à l'algoritme de recherche/de tri de Google, le fameux Page Rank. N'ayant pas d'accès à Scopus, je ne peux pas savoir dans quelle mesure ce qui est proposé ici en libre accès est similaire/différent de l'outil d'Elsevier - si de charitables lecteurs veulent bien me dire ce qu'il en est dans les commentaires...
[photo : mark-thisorthat]

Dans ce post sur The ubiquitous librarian, Brian Matthews s'intéresse aux statistiques de consultation des archives ouvertes : il a consulté une dizaine d'archives américaines et regardé quels étaient les taux de téléchargement des documents. Il n'a pas mené une analyse détaillée, mais juste regardé "à la louche" quels étaient les documents les plus consultés. Et constate que, pour toutes les archives, on observe d'une part un phénomène de (très) longue traîne, et d'autre part une grande disparité du nombre de consultations, qui vont de 500 pour un article de l'Université de l'Oregon à plus de 34 000 pour une thèse de l'Université du Maryland.
Il faudrait bien sûr creuser un peu le mode de recueil des stats, vérifier que ce sont bien des consultations qui sont comparées (et pas de simples hits), bref faire quelquechose d'un peu plus scientifique, mais cela donne quand même un aperçu des usages, et permet de se poser quelques questions :
- Quelle est la provenance des visiteurs : une recherche sur Google, Google Scholar, l'OPAC ? - penser à installer un outil d'analyse statistique sur le serveur qui héberge l'archive locale, et se renseigner sur ce qui existe / ce qui est prévu sur HAL ; d'où aussi l'importance de l'interopérabilité et du référencement
- Quel type de document est le plus consulté : les thèses, les articles ? - L'effet de longue traîne joue-t-il sur tous les documents ?
- Finalement, comment estime-t-on que l'archive "marche" : en fonction du nombre de dépôts, certes, mais aussi sans doute en fonction du nombre de connexions - mais à partir de combien de connexions ?
[Crédit photo : Billa]

Intéressant, ce comparatif Google Scholar / Web of Science rappelle les différents défauts de l'un et de l'autre, ainsi que leurs défauts communs : mauvaise gestion des diacritiques et des ligatures typographiques. Son auteur, le professeur Anne Harzing, s'appuie sur Google Scholar pour alimenter son logiciel d'analyse des citations bibliographiques, ironiquement baptisé Publish or perish (gratuit pour un usage personnel).
[Crédit photo : Pixel Perfect]

La dernière livraison de AIU Horizons, nouvelles de l'enseignement supérieur dans le monde, la newsletter de l'Association Internationale des Universités, consacre un dossier très riche aux "Classements, typologie des établissements et classifications" des universités.
Merci à JB pour l'info.

ARWU, ça vous dit quelquechose ? Non ? Mais si, si vous travaillez en université, vous en avez forcément entendu parler ces dernières années, sous son appellation plus courante qui est... "le classement de Shangaï" !!
Pour les non-initiés, il s'agit du classement international des 500 "meilleures" universités mis au point par l'l'institut pour l'enseignement supérieur de l'Université Jiao Tong de Shangaï. L'objectif de l'exercice est de juger de l'excellence des universités, dans un contexte de concurrence mondialisée, à partir d'une série de critères objectifs, parmi lesquels :
- le nombre de Prix Nobel et de Médailles Fields (l'équivalent du Nobel pour les mathématiques)
- le nombre de chercheurs les plus cités (d'après HighlyCited d'ISI
- le nombre total d'articles publiés (=indexés dans la base Web of Science d'ISI)
- le nombre d'articles publiés dans les revues Nature et Science
- la taille de l'établissement (effectifs étudiants et enseignants)
Les universités ont pris l'habitude depuis l'été 2003 de scruter fébrilement la liste de Shangaï, pour voir si elle y sont, si elles ont gagné ou perdu des places... Et ce, malgré la controverse sur ces différents classements : entre autres biais, on leur reproche que les critères pris en compte se focalisent sur les publications dans les revues, ne prennent pas en compte les production non anglophones, et les outils de mesure (la panoplie des bases ISI) ne sont pas fiables, notamment en ce qui concerne le nommage des institutions.
Néanmoins ces jours-ci vient de sortir la première version du classement de Shangaï par discipline : les universités sont classées selon 5 grands champs disciplinaires (Sciences sociales, Médecine et pharmacie, Sciences de la vie, Sciences de l'ingénieur et informatique, Sciences dures et mathématiques), et 2 critères ont été ajoutés : le nombre de publications dans les revues les plus côtées de la discipline (selon le Journal of Citation Report d'ISI), et le montant des dépenses de recherche (uniquement pour les sciences de l'ingénieur, et encore, que pour les US et le Canada).

Voilà quelquechose dont on a, à mon avis, pas fini d'entendre parler : l'eigenfactor. Il s'agit d'un outil d'évaluation des revues scientifiques, concurrent du facteur d'impact ("impact factor" en VO) mis au point par Eugene Garfield dans les années 60. C'est en fait un projet de recherche mené par Ted & Carl Bergstrom de l'Université de Washington, qui vise à développer de nouvelles méthodes d'évaluation de la recherche. Ce qui est intéressant ici, c'est que le projet prend en compte une échelle d'évaluation + importante (tout le réseau), qu'il traite aussi les citations dans les thèses, les magazines... et qu'il est lié à une autre réalisation du tandem Bergstrom, journalprices.com (dont j'avais parlé dans Biblioacid en novembre 2005), ce qui lui permet de fournir des informations tarifaires sur les revues analysées, et si ça c'est pas de la valeur ajoutée... Le tout en libre accès naturellement.
Certes ce n'est pour l'instant qu'un projet, et c'est pas demain que le célèbre Impact Factor sera détrôné, mais quand même, c'est un indicateur à suivre de près.

Dans ce post sur Academic productivity ("le guide de survie du checheur du 21ème siècle ;-)), Dario explore l'idée d'une utilisation des outils sociaux du web 2.0 comme des outils d'évaluation "soft" de l'activité scientifique. Il s'appuie notamment sur la dimension sociale des outils de gestion de références en ligne comme Connotea ou CiteUlike qui, s'ils sont considérés à l'échelle d'une communauté (institutionnelle ou disciplinaire), permettent d'afficher des tendances sur l'activité de recherche desdites communautés. La base du système, ce sont les métadonnées : les tags attachés aux articles et autres documents sélectionnés par les utilisateurs. Ensuite l'utilisation des fonctionnalités proposées par del.icio.us et autres outils de partage des bookmarks, comme la notion de popularité, ainsi que les possibilités d'annotation et de commentaire permettent une "pré-évaluation" des contenus qui peut constituer un indicateur utile.
Tout est plus (et mieux) détaillé dans le post et les commentaires ; lecture recommandée donc.

Repéré sur le dernier numéro d'Act-U, la lettre de l'AMUE :
"A l'heure de la compétition internationale sur le terrain de l'enseignement supérieur et de la recherche, la question des classements revêt un intérêt stratégique. Bien que décrié celui de Shanghaï ne cesse d'attirer l'attention et devient, peu à peu, une référence médiatique.
Mohamed Harfi (Docteur en économie, enseignant à Paris XI) et Claude Mathieu (Professeur à Paris XI) se sont concentrés sur les enjeux que cela pouvait représenter pour la France dans un article pour la revue "Horizons stratégiques" : "Classement de Shanghai et image internationale des universités : quels enjeux pour la France ?"
Xavier Chapuisat (ancien président de Paris XI) et Claudine Laurent (Directrice de recherche à l'Observatoire de Paris), dans le même numéro d' "Horizons stratégiques", présentent un article en contrepoint par rapport à celui de Harfi et Mathieu. Ils proposent "des évolutions à visée stratégique qui permettraient aux établissements d’enseignement supérieur et de recherche français d’être considérés à leur juste valeur dans les comparaisons internationales"

Un "library mashup" commercial pas inintéressant : le Normative Data Project a pour objectif de compiler toute une série de données sur la circulation des documents dans les bibliothèques d'Amérique du nord, de les relier à des diverses données notamment géographiques, pour en faire de bien jolis tableaux de bord.
Les partenaires à l'initiative du projet sont Sirsi-Dynix, et un département de recherche de l'Université de Floride. Le service est accessible sur abonnement, les rapports sont payants ; une bonne centaine de bibliothèques publiques contribue au projet. Et il y a un blog.