Si fa un gran parlare di valutazione, parola intorno alla quale tutti sono d’accordo, finanche persone che dovrebbero nascondersi al solo suono della parola. Ma cosa significa valutare l’attività di uno scienziato? Come classificare la qualità della ricerca? Come scegliere i progetti a cui dare dei finanziamenti? Intorno a queste domande c’è nel mondo un grande dibattito, di cui in Italia non si sente una grande eco se non per schemi iper-semplificati e dunque sbagliati. Il problema è indubbiamente complicato e mettere a punto delle strategie a questo fine è una delle grandi questioni irrisolte della scienza moderna. Basti ricordare che più del 90% dei fisici mai vissuti in tutti i tempi, sono ora viventi. Questa situazione pone dei problemi nuovi che vanno affrontati cercando di trovare dei metodi ragionevoli ed efficaci. Come ho discusso in un post precedente se è difficile stabilire quali siano questi metodi è molto più semplice capire quali non debbano essere. La qualità della ricerca non si classifica con un numero, ovvero non è ragionevole fare una classifica di scienziati come se si trattasse di, ad esempio, tennisti. Certo è possibile studiare le metriche (quante pubblicazioni? Quante citazioni? E così via) che qualche indicazione la possono fornire se ben maneggiate, mai a prescindere da un’analisi accurata nel merito, ma un indice automatizzato di valutazione della ricerca rimane un miraggio.

In matematica un controesempio è un fatto particolare che dimostra che una congettura è falsa. E’ sufficiente vedere una pecora nera per dimostrare che l’affermazione “tutte le pecore sono bianche” è falsa. Seguendo questa logica un gruppo di informatici francesi ha fatto il seguente esperimento. Ha generato con un software apposito dei falsi articoli scientifici, scritti usando l’appropriato linguaggio tecnico ma usando frasi a caso, e li ha messi in rete. Anche l’autore degli articoli, Ike Antkare, è un nome di fantasia. Perché un articolo sia identificato dal motore di ricerca di Google che indicizza gli articoli scientifici, Google Scholar, è sufficiente che questo abbia almeno una referenza ad un articolo già esistente nella lista di questo motore di ricerca. Dunque sono stati generati 101 articoli: in uno si sono messe referenze solo ad articoli reali ed in ognuno degli altri 100, 99 citazioni ai restanti 99 articoli di Ike Antkare. Per velocizzare l’identificazione da parte di Google si è usato un altro trucco ed in pochi mesi Ike Antkare è diventato una stella nel firmamento degli scienziati di tutti i tempi. Infatti molti degli strumenti correntemente usati per misurare il numero di pubblicazioni e di citazioni fanno uso dei dati forniti da Scholar Google (ad esempio, scholarmeter, publish or perish, Scholar H-index calculator, H-view, scHolar index,…). In base a questi strumenti (usati spesso nel computo delle pubblicazioni e delle citazioni degli scienziati che partecipano a concorsi veri!) dall’8 aprile del 2010 Ike Antkare è diventato uno degli scienziati più citati nel mondo moderno, in una posizione migliore, ad esempio, di Albert Einstein.

Questo controesempio è stato fatto per dimostrare che alcuni strumenti usati correntemente, basati su Google Scholar,  per misurare la performance degli scienziati non sono affidabili e che è molto semplice truccare i dati. E’ inoltre interessante notare che questa distorsione sarebbe potuta avvenire, nel bene o nel male, usando nomi di persone reali. Non si può che condividere la conclusione degli autori di questo interessante esperimento: “E’ generalmente accettato che importanti decisioni riguardo il futuro di uno scienziato non possano essere prese se basate su questi criteri. Inoltre il caso di Ike Antkare mostra che è necessario guardare in dettaglio non solo agli articoli ma anche agli articoli che citano gli articoli.”

Ci sono altre banche dati da cui si possono ricavare informazioni riguardo le pubblicazioni e le citazioni vere, come ad esempio l’isi web of knowledge. Ma il problema di fondo, ovvero dare il giusto peso alle metriche di uno scienziato, rimane irrisolto anche quando si hanno dei dati certificati. Per capire la criticità di questi indicatori è però necessario inquadrare il problema da un punto di vista storico, e su questo spinoso argomento mi riprometto di ritornare a breve.