Università, migliora la qualità della ricerca o peggiora l’agenzia che deve valutarla?

L’Agenzia Nazionale di Valutazione dell’Università e della Ricerca (Anvur) ha presentato i risultati preliminari della Valutazione della Qualità della Ricerca 2011-2014 con un documento roboante quanto inconsistente.

L’annuncio, dato direttamente dal Presidente dell’Anvur, prof. Andrea Graziosi, è stato ampiamente e trionfalisticamente ripreso dalla stampa nazionale. La sensazionale notizia, con le parole del Presidente Graziosi, è la seguente: “Le differenze tra atenei si riducono e tutto ci fa pensare che la qualità media del lavoro delle università si sia innalzata. Si può, dunque, ipotizzare che gli esercizi di valutazione abbiano raggiunto uno degli obiettivi che si erano prefissati: favorire una convergenza verso uno standard comune e più elevato della qualità della ricerca. Certamente, si tratta solo di un primo passo in un percorso lungo e complesso ma, per semplificare, possiamo dire che la macchina è stata messa in moto, come dimostra anche il miglioramento nella qualità del reclutamento della docenza”.

Basta guardare il documento originale per osservare quanto segue: l’indicatore scelto per celebrare il trionfo della valutazione è un indicatore relativo la cui media è necessariamente pari a zero. Gli atenei che prendono un punteggio negativo sono “peggiori” di quelli che prendono un punteggio positivo. Il grafico pubblicato dall’Anvur mostra la distribuzione dell’indicatore nella valutazione precedente (VQR 2004-2010) e nell’attuale (VQR 2011-2014), e dimostra che entrambe sono curve a campana, ma la seconda è più stretta della prima. Ovvero, all’apparenza gli atenei peggiori sono migliorati, mentre quelli migliori sono peggiorati.

Grafico tratto dalla Valutazione della Qualità della Ricerca 2011-2014 di Anvur

In realtà la minore varianza della distribuzione VQR 2011-2014 rispetto alla VQR 2004-2010 è compatibile con due interpretazioni opposte, ma non mutuamente esclusive:

1) gli atenei “peggiori” sono migliorati in misura maggiore dei “migliori”. La gaussiana 2011-2014 si è compressa verso l’alto (non si può essere certi di questo perché l’indicatore usato media necessariamente a zero).

Oppure:

2) gli atenei “migliori” sono peggiorati in misura maggiore dei “peggiori”. La gaussiana 2011-2014 si è compressa verso il basso (ma questo non si vede per la stessa ragione di cui sopra).

Qualunque combinazione delle due interpretazioni risulta compatibile con i dati presentati. In pratica, il messaggio del Presidente dell’Anvur non è dimostrato dai dati presentati in suo sostegno, e una valutazione del miglioramento o peggioramento complessivo del sistema richiede l’uso di indicatori assoluti e non relativi, in quanto deve riflettere una differenza tra le medie delle due valutazioni e non tra le loro varianze. L’indicatore presentato (chiamato nel gergo Anvur Iras1) non può fornire l’informazione richiesta.

Il problema reale, però, non è il pressapochismo dell’Anvur, ma la natura politica del suo messaggio: si vuole dimostrare che le Vqr fanno bene all’università italiana? L’università italiana ha subito un ridimensionamento drastico e negli ultimi anni ha perso il 20% dei docenti.

Necessariamente la produzione scientifica assoluta è calata, e nessun incremento di produttività scientifica pro-capite può compensare un calo di personale di queste dimensioni. Persino se le medie di produttività scientifica normalizzate per numero di addetti fossero aumentate, il “valore” scientifico globale del sistema sarebbe diminuito. La realtà è che la Vqr fa bene solo ai membri del Comitato Direttivo dell’Anvur: giustifica la loro esistenza, nel contesto dello smantellamento dell’università pubblica italiana.