Nei due esercizi di valutazione condotti da ANVUR (VQR 2004-2010 e 2011-2014) sono stati utilizzati due metodi complementari: la peer review, ovvero la valutazione tra pari di tipo qualitativo e la valutazione quantitativa, centrata sull’uso di uso di indicatori bibliometrici, basati sul numero di pubblicazioni e sul numero di citazioni ricevute da un lavoro.

L’algoritmo quantitativo è stato basato sull'uso combinato dell'indicatore bibliometrico della rivista in cui ogni articolo è stato pubblicato e il numero di citazioni ricevuto dall'articolo.

Ogni articolo è stato valutato all’interno di una specifica categoria disciplinare (WoS SC e Scopus ASJC). Per alcune discipline si è reso necessario integrare le categorie di riferimento WoS e Scopus con categorie create ad hoc in base al Settore Scientifico Disciplinare (SSD).

Entrambi i criteri utilizzati negli esercizi di valutazione non sono esenti da critiche. Le metriche tradizionali sono messe in discussione perchè riducono la misurazione dell’impatto della ricerca al solo conteggio delle citazioni senza considerare altri aspetti e dimensioni.

La peer-review è l’unico metodo che analizza direttamente la qualità di un lavoro e, al momento, il più diffuso e efficace. Tuttavia,  è ritenuto un processo costoso, soggettivo e come tale non completamente esente da errori e/o non completamente obiettivo.

L’analisi di nuovi criteri e strumenti per la valutazione della ricerca è una delle importanti innovazioni introdotta dall’Open Science.

Nella sezione Approfondimenti alcune letture relative all'impatto dell'attuale sistema di valutazione sulle pratiche scientifiche e sull'affermazione dell'Open Science.