Metodi bibliometrici - Sistema Bibliotecario di Ateneo

Metodi bibliometrici per la
valutazione della ricerca: non solo IF
Antonella De Robbio
Contenuti
La bibliometria
Metodi di valutazione della ricerca
Metodi bibliometrici
Indicatori bibliometrici
L’Impact Factor (IF)
Principali difetti dell’Impact Factor
Indici bibliometrici alternativi all’Impact Factor:
L’Eigenfactor (EI), H-Index e sue varianti, …
La metrica del Web e il Web Impact Factor (WIF)
L’Usage Factor (UF)
La bibliometria
La bibliometria è un ambito di studio applicato alle
varie discipline scientifiche, che comprende anche
l’analisi bibliometrica, sviluppatosi negli ultimi
vent’anni grazie alla disponibilità online di banche dati
di grandi dimensioni.
E’ collocata entro un contesto più ampio di
scientometria, la scienza per la misura e l’analisi
della scienza.
La bibliometria, utilizza tecniche matematiche e
statistiche per analizzare i modelli di distribuzione
delle pubblicazioni e per esplorare l’impatto entro le
comunità scientifiche
Analisi bibliometrica
Le due misure bibliometriche più conosciute sono
–
–
il numero di citazioni
il fattore di impatto o impact factor IF, il numero di citazioni
ricevute nell’anno corrente agli articoli pubblicati nei due anni
precedenti diviso per il totale del numero di articoli pubblicati
negli stessi due anni.
Ci sono numerosi altri indicatori meno noti e altri
emergenti, in particolare nel contesto Open Access
l’idea di fondo è che la misurazione della produzione
del sapere scientifico usi entrambi gli approcci in
modo combinato.
This diagram has been adapted from Evolution of Scientific Information. [From Allan Kent and Harold Lancour, eds.,
Encyclopedia of Library and Information Science (New York, 1979), s.v. ”Scientific Literature,” by K. Subramanyam, 394].
La valutazione della ricerca
La valutazione della ricerca richiede un duplice approccio:
–
–
quantitativo (ossia in termini numerici di impatto scientifico,
brevettabilità, della presenza di contratti con aziende interessate a
temi di ricerca);
qualitativo, il giudizio dei pari (valutatori) o peer-review, che
risulta a tutt’oggi il più importante dei metodi per una valutazione
significativa della qualità. Appare evidente come sarebbe
necessario associare ai metodi quantitativi uno o più metodi
qualitativi.
Oltre all’analisi bibliometrica (quantitativa), usata un po’
ovunque, in altri paesi invece vengono usati più metodi, tra i
quali il panel (modello anglosassone, ora dismesso dalla
RAE/2008), il peer review (il giudizio dei pari) e l’analisi del
beneficio economico.
Il 35% è favorevole a che i revisori vengano pagati, il
40% no. Il 90 per cento degli autori intervistati svolge
anche compiti di revisione. Nulla di particolarmente
nuovo, credo che lo studio confermi l'attuale tendenza a
voler mantenere il sistema di peer-review con piccoli
aggiustamenti.
Lo studio sembrerebbe
dimostrare che i ricercatori
sono favorevoli al peer-review
perchè migliora la qualità
delle pubblicazioni
scientifiche, ma
desidererebbero un
sistema nel quale sia l'autore
che il revisore sono anonimi
(double-blind) e accettano
volentieri l'idea dei
commenti aperti dopo la
pubblicazione dell'articolo.
Molti auspicano il
miglioramento dell'attuale
sistema di peer-review e si
lamentano dei tempi lunghi
del referaggio.
L’azione del CIVR fase 2004-2006
Contrariamente a quello si pensa NON ha usato nessun tipo di
metrica , ma si è basato su peer-review.
L'analisi della citazione fu scartata in quanto l'uso di tecniche
bibliometriche basate sulla citazione (analisi citazionale) presentava
grandi svantaggi (IF).
Dalla valutazione italiana sono esclusi di materiali didattici.
Ma dove interviene la bibliometria a livello di valutazione nel
panorama Italiano?
Può accadere (e solitamente è accaduto così) che vengano
applicate tecniche di questo tipo (uso di IF per esempio) nella
selezione operata dalla base (strutture, dipartimenti) per l'invio dei
materiali da proporre al CIVR per la valutazione.
Si tratta di selezioni basate sull'analisi citazionale effettuate
non dal CIVR bensì dalle strutture che inviano materiale utile per la
valutazione.
Spesso si tratta anche di un criterio accessorio, in certi atenei.
L’azione del CIVR
Ogni ateneo ha un suo criterio interno che applica al fine di
individuare quali prodotti somministrare.
A livello centrale CIVR, il modello di allocazione delle risorse
prevede dei punteggi, 4/9 per la qualità di una pubblicazione,
il criterio della qualità è qualcosa che incide notevolmente sul
risultato della valutazione.
In sostanza si è voluta una quota molto ristretta di prodotti inviati
dagli atenei sulla quale operare la valutazione
Gli aspetti per noi rilevanti sono nella FASE INIZIALE:
- scelta del prodotto da inviare
- tipologia delle produzioni
CAPIRE MEGLIO QUALE SIA IL GRADO POLITICO DI
APPLICAZIONE DI CRITERI RIGORE/FILTRO SCIENTIFICO
RIVISTE OA (VALUTAZIONE DEI PARI)
Elementi di differenza con il metodo
RAE britannico
RAE include anche i materiali didattici ai fini della valutazione
RAE chiede che ciascun ricercatore (a livello nominale)
presenti 4 lavori (ultimi 6 anni) a sua scelta.
Non si è operata peer-review su tutto ciò che arrivava, perchè
in questo modo, agendo a livello nominale, i lavori sono
numerosi e il processo lungo e costoso.
Non vi è stata quindi selezione di eccellenza operata dalle
università, ma è lo stesso ricercatore che invia ciò che ritiene
migliore
RAE estrae un campione casuale e su questo campione
rappresentativo di ciascun ateneo applica la peer-review.
Fino al 2007 vi è stata una selezione dei Panel per la
mappatura dell'eccellenza scientifica che in questo modo
agisce su un campione casuale.
NUOVO Rapporto RAE 2008
Fuori dall’Italia: tendenze opposte
Regno Unito: la valutazione delle Università, fino ad oggi era
condotta attraverso panel disciplinari del RAE
Dal 2008 RAE si baserà su indici bibliometrici appositamente
costruiti per la misurazione della qualità (sviluppo di nuovi
indicatori)
La valutazione dei pari in forma di light peer-review si effettuerà
per le sole discipline umane e sociali (incluse però anche
matematica e statistica), dove le metriche non hanno ancora
raggiunto standard accettabili.
Australia: la valutazione delle istituzioni dovrebbe passare da
una sistema basato esclusivamente sull’uso delle metriche a un
nuovo sistema dove la valutazione dovrebbe essere condotta
da panel di ‘pari’ e di ‘utilizzatori finali’ dei risultati prodotti.
L’analisi citazionale
L’analisi citazionale è considerata la macchina dove poggia il fattore
d’impatto, noto come IF. L’Impact Factor o IF, è l’indicatore
bibliometrico più conosciuto, ma non è il solo indicatore proposto
dall’ISI (ora Thompson) a cui fare riferimento.
Da studi effettuati è emerso che ciascun servizio produce risultati
anche piuttosto differenti l’uno dell’altro. In termini di analisi
quantitativa appare quanto mai necessario usare diverse fonti di
citazione per giudicare il reale impatto di un’opera scientifica.
Il Web infatti ha avuto un enorme impatto sulla ricerca dell’analisi
citazionale. Negli anni recenti dozzine di database tra cui Scopus e
anche Google Scholar sono comparsi sulla scena, permettendo
modalità e modelli di citazione dei lavori scientifici mai visti in
precedenza.
Questo potrebbe segnare, secondo alcuni, la fine del monopolio
sull’analisi citazionale durato oltre quarant’anni e detenuto dal
commerciale statunitense Thomson Scientific, meglio conosciuto con
il nome precedente di ISI.
Science Citation Index (ISI)
Il Science Citation Index dell’ISI Institue for Scientific Information ora Web of Science WoS di Thompson è stato considerato lo
strumento principe per la misurazione delle citazioni
fu lanciato nel 1964 e ben presto divenne popolare tra scienziati e
bibliotecari e tutt’oggi è uno dei database multidisciplinari più
importanti del mondo ed è affiancato ad altri database citazionali
come l’Arts and Humanities Citation Index (A&HCI) e il Social
Science Citation Index (SSC).
Insieme contano circa 40 milioni di record in oltre 8700 periodici
scientifici tra i più prestigiosi del mondo.
Fino al 1988 questi indici esistevano solo in forma cartacea a
stampa, dalla metà degli anni settanta ricerche online usano
sistemi di information-retrieval messi a disposizione da soggetti
terzi come Dialog.
dal 1988 prime edizioni su CD-Rom e finalmente
nel 1997 i database ISI migrarono su web con il lancio del Web of
Science (WoS).
Gli indicatori utilizzati nell’analisi bibliometrica
proposta dall’ISI: non solo IF …
Immediacy Index: misura quanto successo sta avendo il lavoro
nell’anno di pubblicazione e in relazione a quanto velocemente un
articolo della rivista è mediamente citato e quanto spesso gli articoli
della rivista sono citati nello stesso anno;
Cited Half Life: ciclo di emivita di un lavoro scientifico; misura la
validità nel tempo degli articoli citati o la durata delle citazioni nel
tempo. Misura il numero degli anni, andando all'indietro da quello
corrente, in cui si raggiunge il 50% delle citazioni totali ricevute dalla
rivista nell'anno presente.
Rate of Cites Index: rappresenta un indice di qualità del singolo
lavoro, basato sull’assioma che quanto più il lavoro è citato da altri
ricercatori tanto più rilevante è il suo valore scientifico.
Citation Impact: è calcolato per uno specifico soggetto o autore o
istituzione o paese sulla base del rapporto tra il numero di citazioni
ricevute e il numero di articoli pubblicati (un elevato numero di citazioni
indica che la pubblicazione ha avuto un forte impatto).
Volume mondiale di citazioni 1992-2003
Il volume di citazioni mondiali risulta
incrementato del 61%, passando da 2.69
milioni a 4.34 milioni,
le citazioni tra nazioni e aree geografiche
diverse crescono dal 42% al 48%, altro
segno dell’incremento della globalizzazione
della scienza.
in EU aumenta fortemente la condivisione di
citazioni globali, eliminando in parte di divario
con gli Stati Uniti
Mondo OA e bibliometria
Nel mondo Open Access stanno nascendo iniziative e progetti
che interessano il campo della "bibliometria" dove si stanno
sperimentando soluzioni alternative al tradizionale IF
Da qualche tempo i servizi Web stanno mettendo in discussione il
predominio non solo degli strumenti dell’ISI ma dello stesso IF.
Se gli indicatori generati dall’autore sono le citazioni, quelli
generati dai lettori sono i dati sull’utilizzo che possono essere
raccolti tramite server web e linkresolver logs.
Indicatore bibliometrico quantitativo di nuova generazione è
l’Usage Factor UF, complementare e non sostitutivo a fattori di
impatto tradizionali o alternativi all’IF.
nuovi strumenti e/o progetti per l’analisi citazionale nell’ambiente
Web, tra cui il Web Impact Factor (WIF) e per l’analisi statistica
dei log e dei dati, che si riconducono alla nuova scienza nota
come metrica del web o Webometrica.
L’Eigenfactor (EI)
Eigenfactor: ranking and mapping scientific knowledge
è un nuovo modello matematico per calcolare l'impatto delle
riviste scientifiche accademiche che tiene conto dei diversi
standard di citazione tra una disciplina e l'altra.
progetto di ricerca accademica non-commerciale
sponsorizzato dal Bergstrom lab al Department of Biology
dell’Università di Washington
ha lo scopo di sviluppare un nuovo metodo per la valutazione
dell'influenza (impatto) dei periodici accademico-scientitici ai
fini di ottenere una mappatura della struttura della ricerca
accademica.
Completamente free http://www.eigenfactor.org/
PoP software
Publish or Perish (PoP) is a software program that retrieves and analyzes
academic citations. It uses Google Scholar to obtain the raw citations, then
analyzes these and calculates a series of citation metrics. The results are
available on-screen and can also be copied to the Windows clipboard (for
pasting into other applications) or saved to a text file (for future reference or
further analysis).
Analisi biometriche PoP
Papers:
Citations:
Years:
Cites/year:
166
153
48
3.19
Cites/paper:
Cites/author:
Papers/author:
Authors/paper:
0.92
118.58
131.63
1.45
h-index:
g-index:
hc-index:
hI-index:
hI,norm:
5
6
4
3.13
4
AWCR:
AW-index:
AWCRpA:
18.87
4.34
14.47
Hirsch a=6.12, m=0.10
Contemporary ac=4.69
Cites/paper 0.92/0.0/0 (mean/median/mode)
Authors/paper 1.45/1.0/1 (mean/median/mode)
6 paper(s) with 0 author(s)
112 paper(s) with 1 author(s)
26 paper(s) with 2 author(s)
16 paper(s) with 3 author(s)
2 paper(s) with 4 author(s)
4 paper(s) with 5 author(s)
H index
Con h-index si intende un indice proposto
nel 2005 da Jorge E. Hirsch della University
of California di San Diego per quantificare la
prolificità e l'impatto del lavoro degli
scienziati, basandosi sul numero delle loro
pubblicazioni ed il numero di citazioni
ricevute.
http://insitu.lri.fr/~roussel/moulinette/h/h.cgi
http://quadsearch.csd.auth.gr/index.php?lan=1&s=2
h-b-index Hirsch-Banks Index
Altra variante dell’indice H è l’ h-b-index
(Hirsch-Banks Index), meglio un’estensione
dell’indice H sviluppato da Michael Banks del
Max Planck Institute for Solid State
Research, focalizzato sulle pubblicazioni in
fisica dello stato solido. E’ definito allo stesso
modo dell’Indice H, ma è basato sulla ricerca
di uno specifico argomento o composto,
invece che del nome dello scienziato.
a-index
Il curatore di Science Focus, Jin Bihui ha
inventato un ulteriore metodo, detto “aindex” il quale è definito come la media del
numero di citazioni ricevute da opere nel
numero di pubblicazioni “h-index”.
G-index
L’indice G o g-index è un indicatore bibliometrico di
tipo quantitativo per misurare la produttività
scientifica dei fisici e altri scienziati, anch’esso
basato sui record citazionali delle loro pubblicazioni.
Fu suggerito nel 2006 da Leo Egghe, sulla base di
una variante dell’indice H.
Il g-index è calcolato sulla base della distribuzione
delle citazioni ricevute dalle pubblicazioni di un dato
ricercatore.
Contemporary h-index
Mentre Antonis Sidiropoulos, Dimitrios Katsaros, e
Yannis Manolopoulos hanno descritto come
migliorare l'indice H dando più peso ai lavori recenti
"thus rewarding academics who maintain a steady
level of activity", Pablo D. Batista, Monica G.
Campiteli, Osame Kinouchi, e Alexandre S. Martinez
propongono di dividere l'indice H standard per il
numero
medio
di
autori
nell'articolo
che
contribuiscono all'indice stesso, di modo da ridurre
gli effetti del co-authorship.
Age-weighted citation rate: (AWCR,
AWCRpA) e AW-index
Numero di citazioni basate sull'età del documento (AWCR, AWCRpA) e AW-index
E’ nato dalla nota di Bihui Jin intitolata "The AR-index: complementing the h-index" ISSI
Newsletter, 2007, 3(1), p. 6.
AWCR misura il numero di citazioni ricevute da un'intera collezione di opere, calcolato in base
all'età di ogni singolo documento (Age-weighted citation rate). È’ il numero di citazioni calcolato
sulla base dell'età del documento in cui il numero di citazioni di un determinato documento
viene diviso per l'età del documento.
Jin definisce AR-index come la radice quadrata della somma delle citazioni basate sull'età di
un documento calcolata sul numero totale di documenti che contribuiscono all'h-index.
Publish or Perish tiene conto della somma di tutti i documenti di modo da rappresentare più
accuratamente l'impatto dell'intera collezione di opere. (in questo modo i documenti più recenti
e di conseguenza con un minor numero di citazioni possono contribuire a AWCR, anche se
non potrebbero ancora contribuire all'h-index).
AW-index è considerato la radice quadrata di AWCR per consentire un paragone/confronto
con l'h-index: esso si avvicina all'h-index se il numero medio di citazioni rimane più o meno
costante nel corso degli anni.
Il numero di citazioni basato sull'età del documento e sull'autore (per-author age-weighted
citation rate) è simile al AWCR di base, ma è normalizzato sul numero di autori per ogni
documento.
Il risultato di queste metriche è indicato come AWCR, AWCRpA e AW-index.
L’h-index di Scopus
Fornisce un’unica e semplice metrica per migliorare la
valutazione di un autore nell’arco degli ultimi dieci anni.
Rappresenta gli articoli pubblicati dal 1996 in avanti.
È possibile visualizzarlo usando lo strumento Citation Tracker
dalla pagina Author Details
Fornisce all’utente tre grafici: il grafico h, il numero di articoli
pubblicati e il numero di citazioni.
TopCited di SCOPUS
Scopus ha rilasciato un nuovo servizio gratuito TopCited
(http://info.scopus.com/topcited/), che permette di
consultare gli articoli più citati nelle varie
discipline usando un'API integrata con Google Map.
I 20 articoli più citati negli ultimi 3-5 anni in tutte le
discipline (26 aree di soggetto) sono OA, come risulta da
questa ricerca effettuata da Klaus Graf
http://archiv.twoday.net/stories/4781179/
SCImago Journal & Country Rank (SJR)
http://www.scimagojr.com/
nuovo database gratuito accessibile in Internet
messo a punto dalle università spagnole di Granada,
Estremadura e Carlos III di Madrid
In collaborazione con Elsevier che ha fornito le citazioni relative
ai 13 mila periodici indicizzati da SCOPUS (dal 1996 ad oggi)
permette di generare statitistiche sulle citazioni degli articoli
pubblicati nelle riviste peer-reviewed
calcola anche l'impact factor delle riviste usando un nuovo
algoritmo simile a PageRank, l'algoritmo utilizzato da Google per
ordinare le pagine
Si possono fare ricerche incrociate per paesi e per discipline
genera statistiche per paese, confronta il numero degli articoli
pubblicati, le citazioni, per paese
Come si colloca l'Italia
http://www.scimagojr.com/countryrank.php
WIF Web Impact Factor
Almind e Ingwersen, considerati tra i più accreditati studiosi di
metodi bibliometrici, hanno pubblicato nel 1997 i primi studi
relativi all’area di problemi definita con il termine Webometrics.
Si tratta dello studio degli aspetti quantitativi della costruzione e
dell’uso delle risorse informative delle strutture e delle tecnologie
sul web valutate secondo un’ approccio bibliometrico ed
informetrico (Bjömeborn & Ingwersen, 2004).
Con il termine Cybermetrics si indica lo studio di tutte le
applicazioni Internet, con il termine Webometrics si indica lo
studio dedicato esclusivamente al web.
il Web Impact Factor WIF è basato sull’analisi dei link e si ricava
dal numero dei contatti che un documento pubblicato sul web
riceve moltiplicato per il numero delle pagine.
Questo comporta una proporzione di 1:1 tra la visibilità (numero
contatti) e la dimensione (numero di pagine).
Lo studio si fonda sull’assunto secondo cui Internet è
lo strumento in grado di veicolare al meglio le
informazioni prodotte dalla ricerca scientifica
combinazione di una serie di indicatori relativi alla
presenza in Internet delle Università e dei Centri di
ricerca basandosi sul WIF, Web Impact Factor,
messo a punto da Tomas C. Almind e Peter
Ingwersen, in maniera del tutto analoga al database
bibliografico pubblicato dalla Thomson Scientific,
costruito tenendo conto del Impact Factor of Journal
Citation Reports.
UF Usage Factor
Usage Factor per misurare l'autorevolezza
e il valore delle riviste scientifiche
UK Serials Group (UKSG) ha commissionato
alcune ricerche volte a misurare la possibilità
di utilizzare l"Usage Factor" come indice per
misurare il valore delle pubblicazioni
accademiche.