¿Qué es la generalizabilidad?
Alias: validez externa, representatividad
La generalizabilidad de un experimento controlado online se refiere al valor predictivo de sus resultados. Se refiere a lo bien que se generalizan los resultados a periodos de tiempo y poblaciones diferentes a la duración de la prueba y a la población que experimentó el tratamiento y. Un término con el mismo significado es «representatividad», así como «validez externa» en contextos más científicos.
No debe confundirse con la validez estadística de la prueba (la adecuación de su modelo estadístico) ni con los tipos de errores controlados por los métodos estadísticos, como los errores de tipo I y de tipo II, ya que éstos, cuando se ven en el contexto del KPI principal, sólo se aplican a la validez interna de una prueba.
La generalización del resultado de una prueba A/B puede verse amenazada por muchos factores externos a la propia prueba, con tres tipos principales de factores: los relacionados con el tiempo, los relacionados con el cambio de la población y los relacionados con la novedad/aprendizaje. Hemos examinado algunos de ellos en entradas separadas del glosario, respectivamente para la estacionalidad, los efectos del aprendizaje, los efectos de la novedad, la rotación de las cookies, el sesgo de supervivencia y el sesgo de selección.
Las formas de mejorar la generalizabilidad incluyen la gestión de la duración de la prueba para que los datos estén equilibrados a través de diferentes factores importantes conocidos (adquiriendo una «muestra representativa»), la comprobación de las tendencias fuertes dentro del período de la prueba, la comprobación de las tendencias que persisten después de que la prueba ha terminado y se cambió de nuevo a control frente a control (prueba A/A), y otros. Ninguna de ellas es perfecta y todas tienen premisas estadísticas que pueden necesitar ser probadas por sí mismas.
La generalizabilidad es un problema irresoluble a largo plazo debido a la naturaleza adaptativa del comportamiento humano, así como al contexto tecnológico y competitivo siempre cambiante. Las diferentes medidas descritas anteriormente pueden ayudar a aliviar las preocupaciones sobre la generalizabilidad a corto y medio plazo, así como la generalizabilidad entre poblaciones.
0 comentarios