O que é Generalizabilidade?
Aliases: validade externa, representatividade
Generalizabilidade de uma experiência controlada online refere-se ao valor preditivo dos seus resultados. Refere-se a quão bem os resultados se generalizam a períodos de tempo e populações diferentes da duração do teste e da população que experimentou o tratamento e. Um termo com o mesmo significado é “representatividade” bem como “validade externa” em contextos mais científicos.
Não deve ser confundido com a validade estatística do teste (a adequação do seu modelo estatístico) nem com os tipos de erros controlados por métodos estatísticos como os erros de tipo I e tipo II, pois estes, quando vistos no contexto do KPI primário só se aplicam à validade interna de um teste.
A generalizabilidade do resultado de um teste A/B pode ser ameaçada por muitos factores externos ao próprio teste com três tipos principais de tais factores: relacionados com o tempo, relacionados com a mudança da população, e relacionados com a novidade/aprendizagem. Examinámos alguns destes em entradas de glossário separadas, respectivamente para efeitos de sazonalidade, efeitos de aprendizagem, efeitos de novidade, viés de sobrevivência e viés de selecção.
As formas de melhorar a generalizabilidade incluem a gestão da duração do teste para que os dados sejam equilibrados através de diferentes factores importantes conhecidos (aquisição de uma “amostra representativa”), verificação de fortes tendências dentro do período do teste, verificação de tendências persistentes depois de o teste ter terminado e ter sido trocado de novo para controlo vs controlo (teste A/A), e outros. Nenhum destes é impecável e todos eles têm premissas estatísticas que podem necessitar de testes por si sós.
A generalizabilidade é um problema insolúvel a longo prazo devido à natureza adaptativa do comportamento humano, bem como ao contexto tecnológico e competitivo em constante mudança. As diferentes medidas descritas acima podem ajudar a aliviar as preocupações sobre a generalizabilidade a curto e médio prazo, bem como a generalizabilidade entre populações.
0 comentários