L’ANVUR sta forzando le maglie del D.M. Criteri e Parametri?
Image may be NSFW.
Clik here to view.
Image may be NSFW.
Clik here to view.
Ieri tra le FAQ dell’ANVUR sono apparse delle nuove spiegazioni [improvvisamente scomparse dopo meno di 24 ore] relative alla normalizzazione dell’h-index. Ricordiamo che per i cosiddetti “settori bibliometrici”, il conseguimento delle abilitazioni scientifiche è subordinato al superamento di alcune soglie bibliometriche definite come la mediana di opportuni indicatori valutati nella fascia di docenza per cui si chiede l’abilitazione. Uno di questi indicatori è l’h-index normalizzato per l’età accademica. Fino ad oggi, si riteneva che tale normalizzazione consistesse nel dividere l’h-index per l’età accademica del ricercatore, intesa come periodo trascorso a partire dalla prima pubblicazione caricata sul sito docente. Tale normalizzazione è nota nella letteratura sotto il nome di m-index.
Image may be NSFW.
Clik here to view.
A sorpresa, l’ANVUR abbandona l’m-index e scodella una pozione bibliometrica che, a prima vista, sembra del tutto inedita. La motivazione (vedi figura) è che per i ricercatori con pochi anni di carriera, l’m-index “amplifica differenze casuali tra individui nei primi anni di carriera”. In realtà, qualsiasi misura bibliometrica è esposta a componenti casuali, soprattutto per brevi periodi di osservazione e questa è una delle ragioni che sconsigliano l’uso automatico e rigido di criteri bibliometrici per la valutazione individuale di ricercatori e articoli.
Image may be NSFW.
Clik here to view.
Nell’intento dichiarato di superare il problema, l’ANVUR spiega che normalizzerà ogni singola pubblicazione, dividendo il numero totale delle citazioni ricevute per l’età accademica (vedi cartiglio rosso). Che l’età accademica sia quella del ricercatore sembra fuori di dubbio, visto che la stessa pagina ne riporta la definizione (vedi cartiglio blu).
Tuttavia, questa nuova normalizzazione dà esiti controproducenti. Immaginiamo, un ricercatore A con h-index pari a 10 la cui età accademica è pari a 20. Ciò significa che ha dieci articoli che hanno ricevuto 10 o più citazioni. Ipotizziamo che le citazioni di questi 10 articoli siano:
cites = {100, 72, 64, 60, 40, 36, 20, 16, 12, 10}
Ora, dopo la normalizzazione in base all’età accademica (basta dividere per 20), avremo
normalized_cites = {5, 3.6, 3.2, 3, 2, 1.8, 1, 0.8, 0.6, 0.5}
Pertanto, l’h-index normalizzato sarà pari a 3 (3 articoli con 3 o più citazioni), molto più piccolo di quello di partenza. Con un età accademica di 30 anni, per avere un h-index normalizzato pari a 3 sarà necessario avere almento 3 articoli con 90 citazioni ciascuno. L’effetto generale è uno schiacciamento della distribuzione degli h-index verso il basso. Inoltre, con due anni di età accademica, per avere h-index normalizzato pari a 3 basta invece avere tre articoli con 6 citazioni ciascuno. A ben vedere, l’amplificazione delle differenze casuali potrebbe persino peggiorare con il metodo proposto dall’ANVUR.
Image may be NSFW.
Clik here to view.
Il contemporary h-index di Katsaros
Resta però un indizio da approfondire: quell’ “h contemporaneo” messo tra parentesi alla fine della FAQ – Indicatori. Se si traduce in “contemporary h-index” e si cerca su Google Scholar si trovano diversi articoli. Sfogliando la bibliografia di uno di questi, si scopre che il contemporary h-index è una variante dell’h-index proposta nel 2006 da Katsaros, Manolopoulos e Sidiropoulos:
Image may be NSFW.
Clik here to view.
Si scopre anche che la normalizzazione proposta da Katsaros et al. è diversa da quella riportata nelle FAQ dell’ANVUR. Infatti, non viene utilizzata l’età accademica del ricercatore, ma l’età di ogni singolo articolo scientifico, le cui citazioni vengono normalizzate nel seguente modo:
normalized_cites = 4 cites / (1+age)
- cites = citazioni ricevute dall’articolo
- age = anni trascorsi dalla data di pubblicazione
Per esempio, le 36 citazioni ricevute da un articolo pubblicato nel 2007, una volta normalizzate, diventeranno
normalized_cites = 4 x 36 / (1 + 5) = 24
Viceversa, se un articolo pubblicato nel 2011 ha ricevuto 20 citazioni, otterremo
normalized_cites = 4 x 20 / (1 + 1) = 40
In pratica, vengono “premiate” le citazioni degli articoli recenti e penalizzate quelle degli articoli più vecchi. Infatti, se le citazioni crescessero in proporzione al numero di anni trascorsi, il rapporto cites/(1+age) correggerebbe l’impatto in funzione dell’età dell’articolo, evitando di sottovalutare gli articoli più recenti che non hanno fatto in tempo ad accumulare citazioni.
Una volta normalizzate tutte le citazioni del ricercatore, si procede al calcolo del suo h-index nel modo usuale. Ma cosa cambia rispetto all’h-index standard?
The contemporary h- index adds an age-related weighting to each cited article, giving […] less weight to older articles. […] This means that for an article published during the current year, its citations account four times. For an article published 4 years ago, its citations account only one time. For an article published 6 years ago, its citations account 4/6 times, and so on.
For junior academics the contemporary h-index is generally close to their regular h-index as most of the papers included in their h-index will be recent. For more established academics there can be a substantial difference between the two indices […] As such the contemporary h-index often provides a slightly fairer comparison between junior and senior academics than the regular h-index.
Anne-Wil Harzing, Reflections on the h-index
Se fosse questo l’indice adottato, si favorirebbero gli studiosi la cui produzione (e relative citazioni) sono più recenti rispetto a chi ha un h-index elevato frutto di lavori pubblicati in anni remoti, ma che continuano a fruttare citazioni. Come scrive la Harzing, ne dovrebbero essere avvantaggiati i più giovani. In termini pratici, l’adozione di questo indice dovrebbe aumentare la percentuale di candidati che superano la mediana. Dal punto di vista dei commissari, dovrebbe penalizzare chi “vive di rendita” e favorire invece chi raccoglie citazioni con i suoi lavori più recenti.
Image may be NSFW.
Clik here to view.
In realtà, l’ipotesi di crescita lineare delle citazioni andrebbe verificata settore per settore e non è facile capire se e quali distorsioni vengano introdotte. Tra l’altro, aumenta il peso attribuito alle citazioni degli articoli recenti che sono però anche quelle più inaffidabili a causa dei ritardi di registrazione nei database i cui effetti sono spesso sottovalutati (si legga per esempio quanto scritto a pagina 5-30 del rapporto Science and Engineering Indicators 2010 del National Science Board relativamente all’uso dei dati WoS).
Di sicuro, diventerà sempre più difficile per la comunità scientifica effettuare dei controlli indipendenti sul calcolo delle mediane e persino sugli h-index individuali. Infatti, il contemporary h-index è disponibile su Publish-or-Perish, ma non su ISI Web-of-Science e Scopus, che sono i database di norma adottati dall’ANVUR (Delibera ANVUR n. 50, Art. 1.6).
Chi pensasse di farsi comunque un’idea approssimativa usando Publish-or-Perish, farà bene ad essere cauto: un’indagine bibliometrica (Scientometrics 83(1), 243-258, 2010) condotta su un campione di ricercatori italiani di computer science ha mostrato che non esisteva una correlazione statisticamente significativa tra l’h-contemporaneo di Google Scholar e quello di ISI. Anzi, tra tredici indici bibliometrici, l’h-contemporaneo era l’unico che non si correlava significativamente quando si cambiava il database (ibidem, Table 3, Spearman correlation, p-value = 0,1 > 0,05). Per quanto il campione di ricercatori fosse assai limitato (13 ricercatori dell’Università di Udine), desta qualche allarme il fatto che l’h-contemporaneo fosse l’indicatore più sensibile alla scelta del database.
Insomma, i candidati all’abilitazione scientifica corrono il rischio di fungere da cavie per le sperimentazioni bibliometriche dell’ANVUR che, come già successo con la VQR, sembra affetto da una vera e propria idiosincrasia nei confronti degli approcci consolidati e sperimentati.
Image may be NSFW.
Clik here to view.
L’ANVUR sta forzando le maglie del D.M. Criteri e Parametri?
Ammettiamo per un momento che quanto scritto nelle FAQ fosse una svista e che l’ANVUR intenda utilizzare il cosiddetto contemporary h-index, nella sua formulazione scientifica. Tuttavia, l’ANVUR non gode di libertà assoluta: nella definizione e nel calcolo degli indicatori bibliometrici deve attenersi a quanto stabilito nel D.M “Criteri e parametri”. Per comodità, riportiamo l’Art. 2 dell’Allegato A del decreto, che specifica quali siano gli indicatori biliometrici:
Image may be NSFW.
Clik here to view.
È evidente che non ci sono margini di interpretazione. L’indice h è quelllo definito da Hirsch ed esso va normalizzato per l’età accademica, che, come specificato nel testo del D.M. è riferita al ricercatore e non certo ai singoli articoli scientifici:
ART. 1
(Definizioni)
1. Ai fini del presente decreto, si intende:
[…]
q) per età accademica: il periodo di tempo successivo alla data della prima pubblicazione scientifica pertinente al settore concorsuale, tenuto conto dei periodi di congedo per maternità, di altri periodi di congedo o aspettativa, previsti dalle leggi vigenti e diversi da quelli per motivi di studio, nonché di interruzioni dell’attività scientifica per fondati motivi da valutare in relazione al curriculum del candidato;
r) per indice h di Hirsch: l’indice h, definito da Jorge E. Hirsch (Università della California, San Diego – USA);
Decreto Ministeriale 7 giugno 2012 n. 76
È chiaro che non si può adottare l’h-contemporaneo senza violare il D.M. “Criteri e parametri”. Una normalizzazione senza dubbio conforme al D.M. è il cosiddetto m-index ovvero l’h-index diviso per l’età accademica. È più dubbio che si possa normalizzare dividendo le citazioni di ciascun articolo per l’età accademica dell’autore, una soluzione che però è solo un’ipotesi di scuola perché, come già visto, dà luogo a risultati controproducenti.
A questo punto sorge un dubbio. Forse l’uso improprio del termine “età accademica” nelle FAQ non è una svista, ma un tentativo astuto (o disperato) di forzare le maglie del D.M. “Criteri e parametri” senza dare nell’occhio. A ben pensarci, la clausola
Rispettando lo spirito e il testo del decreto abilitazioni
suona come una “excusatio non petita” messa lì per coprire un’interpretazione estensiva che pare azzardata persino a chi la scrive.
Image may be NSFW.
Clik here to view.
Cosa sta succedendo dietro le quinte? Possiamo solo fare congetture. Esaminando qualche statistica bibliometrica, l’ANVUR ha notato che l’applicazione dei criteri del D.M. e della relativa delibera ANVUR condurebbero a risultati indesiderati. Un numero troppo piccolo o troppo grande di candidati che passano le soglie? Qualche cattedratico illustre che rischia l’ignominia di essere escluso a priori dalle commissioni? Per parare il colpo, non si è trovato di meglio che cambiare le regole in corsa. Detto, fatto! Tra tutte le possibili varianti dell’h-index, l’ANVUR ha trovato quella giusta, l’h-contemporaneo.
Però c’è un problema: in questo indicatore, la normalizzazione non usa l’età accademica ma l’età dei singoli articoli scientifici. Pubblicare i dettagli della formula in modo chiaro metterebbe in evidenza la differenza insanabile con il D.M “Criteri e Parametri”. Per aggirare l’ostacolo, l’ANVUR escogita un espediente in tre mosse:
- descrivere la formula a parole dentro le FAQ;
- affermare che la normalizzazione avverà mediante l'”età accademica”, per non contraddire il D.M.;
- insinuare che l’età accademica vada però intesa come età dell’articolo aggiungendo tra parentesi il termine “h-contemporaneo” che, per gli esperti richiama subito il “contemporary h-index di Katzaros et al.
Image may be NSFW.
Clik here to view.
Tentativo generoso.
Però, mancano almeno tre coperchi:
- nella stessa pagina è riportata in modo inequivocabile la definizione dell’età accademica, che si riferisce al ricercatore e non ai singoli articoli;
- se si usa l’età accademica del ricercatore, la normalizzazione dell’h-index conduce a risultati incongrui;
- il D.M. Criteri e parametri definisce in modo inequivocabile l’h-index di Hirsch e l’età accademica con cui deve essere normalizzato.
La navigazione della procedura di abilitazione è già messa a rischio dal ricorso annunciato dall’AIC. Adottare un indice bibliometrico che contraddice palesemente il decreto ministeriale fornirebbe appigli a ulteriori ricorsi destinati ad incagliare del tutto la nave.
Difficile dare consigli, ma, di sicuro, sarebbe un beffardo scherzo del destino se le abilitazioni scientifiche naufragassero a causa dell’indice di Katsaros.
Postilla: come menzionato all’inizio del post, in data 13-7-2012 la spiegazione sulla normalizzazione dell’h-index è improvvisamente scomparsa dal sito dell’ANVUR. Un ulteriore sintomo dell’improvvisazione con cui sono gestiti i calcoli degli indicatori bibliometrici nell’ambito delle procedure di abilitazione scientifica?
Image may be NSFW.
Clik here to view.