Qu’est-ce que la généralisabilité?
Alias : validité externe, représentativité
La généralisabilité d’une expérience contrôlée en ligne fait référence à la valeur prédictive de ses résultats. Elle fait référence à la façon dont les résultats se généralisent à des périodes de temps et à des populations autres que la durée du test et la population qui a expérimenté le traitement et. Un terme ayant la même signification est « représentativité » ainsi que « validité externe » dans des contextes plus scientifiques.
Il ne doit pas être confondu avec la validité statistique du test (l’adéquation de son modèle statistique) ni avec les types d’erreurs contrôlées par les méthodes statistiques telles que les erreurs de type I et de type II car celles-ci, lorsqu’elles sont considérées dans le contexte du KPI primaire, ne s’appliquent qu’à la validité interne d’un test.
La généralisabilité du résultat d’un test A/B peut être menacée par de nombreux facteurs externes au test lui-même avec trois principaux types de ces facteurs : liés au temps, liés aux changements de population et liés à la nouveauté/à l’apprentissage. Nous avons examiné certains d’entre eux dans des entrées de glossaire séparées, respectivement pour la saisonnalité, les effets d’apprentissage, les effets de nouveauté, la désaffection des cookies, le biais de survie et le biais de sélection.
Les moyens d’améliorer la généralisabilité comprennent la gestion de la durée du test de sorte que les données soient équilibrées entre différents facteurs importants connus (acquisition d’un « échantillon représentatif »), la vérification des tendances fortes au cours de la période de test, la vérification des tendances qui persistent après la fin du test et le retour au contrôle vs contrôle (test A/A), et d’autres. Aucune de ces mesures n’est sans faille et toutes ont des prémisses statistiques qui peuvent nécessiter des tests en soi.
La généralisabilité est un problème insoluble à long terme en raison de la nature adaptative du comportement humain ainsi que du contexte technologique et concurrentiel en constante évolution. Les différentes mesures décrites ci-dessus peuvent contribuer à atténuer les préoccupations relatives à la généralisabilité à court et moyen terme, ainsi qu’à la généralisabilité à travers les populations.
La généralisabilité est un problème qui ne peut être résolu à court terme.
0 commentaire