Cosa significa “generalizzabilità”?

Che cos’è la generalizzabilità?

Alias: validità esterna, rappresentatività

La generalizzabilità di un esperimento controllato online si riferisce al valore predittivo dei suoi risultati. Si riferisce a quanto bene i risultati si generalizzano a periodi di tempo e popolazioni diverse dalla durata del test e dalla popolazione che ha sperimentato il trattamento e. Un termine con lo stesso significato è “rappresentatività” così come “validità esterna” in contesti più scientifici.

Non deve essere confuso con la validità statistica del test (l’adeguatezza del suo modello statistico) né con i tipi di errori controllati dai metodi statistici come gli errori di tipo I e II poiché questi, quando visti nel contesto del KPI primario, si applicano solo alla validità interna di un test.

La generalizzabilità del risultato di un test A/B può essere minacciata da molti fattori esterni al test stesso, con tre tipi principali di tali fattori: legati al tempo, al cambiamento della popolazione e alla novità/all’apprendimento. Abbiamo esaminato alcuni di questi in voci di glossario separate, rispettivamente per la stagionalità, gli effetti di apprendimento, gli effetti di novità, il cambiamento dei cookie, il bias di sopravvivenza e il bias di selezione.

I modi per migliorare la generalizzabilità includono la gestione della durata del test in modo che i dati siano bilanciati attraverso diversi importanti fattori noti (acquisizione di un “campione rappresentativo”), il controllo delle tendenze forti all’interno del periodo del test, il controllo delle tendenze che persistono dopo che il test è finito e si è passati nuovamente al controllo vs controllo (test A/A), e altri. Nessuno di questi è impeccabile e tutti hanno premesse statistiche che potrebbero necessitare di test a parte.

La generalizzabilità è un problema irrisolvibile a lungo termine a causa della natura adattiva del comportamento umano e del contesto tecnologico e competitivo in continua evoluzione. Le diverse misure descritte sopra possono aiutare ad alleviare le preoccupazioni sulla generalizzabilità a breve e medio termine, così come la generalizzabilità tra le popolazioni.