Affidabilità Inter-Rater

L’Affidabilità Inter-Rater si riferisce alle misurazioni statistiche che determinano quanto siano simili i dati raccolti da diversi classificatori. Un valutatore è qualcuno che sta valutando o misurando una prestazione, un comportamento o un’abilità in un essere umano o animale. Esempi di valutatori potrebbero essere un intervistatore di lavoro, uno psicologo che misura quante volte un soggetto si gratta la testa in un esperimento, e uno scienziato che osserva quante volte una scimmia raccoglie un giocattolo.
È importante che i valutatori abbiano il più vicino possibile alle stesse osservazioni – questo assicura la validità dell’esperimento. Se i valutatori differiscono significativamente nelle loro osservazioni, allora le misurazioni o la metodologia non sono corrette e devono essere raffinate. In alcuni casi i valutatori possono essere stati addestrati in modi diversi e devono essere riqualificati su come contare le osservazioni in modo che lo facciano tutti allo stesso modo.
Ci sono alcune misure statistiche che vengono utilizzate per verificare se la differenza tra i valutatori è significativa o meno. Un esempio che usa l’affidabilità inter-rater potrebbe essere una valutazione delle prestazioni lavorative da parte dei manager dell’ufficio. Se l’impiegato che viene valutato ha ricevuto un punteggio di 9 (un punteggio di 10 è perfetto) da tre manager e un punteggio di 2 da un altro manager, allora l’affidabilità dell’inter-rater potrebbe essere usata per determinare che qualcosa è sbagliato con il metodo di valutazione. Ci potrebbero essere molte spiegazioni per questa mancanza di consenso (i manager non hanno capito come funziona il sistema di punteggio e l’hanno fatto in modo errato, il manager con il punteggio più basso aveva un rancore contro il dipendente, ecc) e l’affidabilità inter-rater espone questi possibili problemi in modo che possano essere corretti.