Tests multivariés et tests A / B simplifiés: comment tester les techniques d'optimisation de pages Web

multivariate testing

Introduction:

Il existe de nombreux sites Web et applications que nous utilisons souvent. Pendant que nous les utilisons, nous ne prêtons probablement pas beaucoup d'attention à la façon dont le site Web est devenu sa version actuelle - en revanche, si quelque chose ne semble pas bien, nous ne reviendrons probablement jamais sur le site / l'application.

La question est - que faut-il pour «faire» correctement?

Ce que vous apprendrez:

questions et réponses d'entretien avancé sql pdf

• Test multivarié et test A / B
• Qu'est-ce que le test multivarié?
• Types de tests MVT:
• Comment faire des tests multivariés
• Erreurs à éviter
• À faire et à ne pas faire
• Avantages et inconvénients
• Test A / B
• Avantages et inconvénients des tests A / B:
• Test A / B vs test multivarié vs test fractionné
• Test multivarié
• Outils de test A / B / Split / Multivarié
• lecture recommandée

Test multivarié et test A / B

Le «ça» est le plus souvent la fonctionnalité - que nous avons des processus d'assurance qualité solides comme le roc pour tester et évaluer. Mais le «ça» aussi se compose de la conception, d'une combinaison d'éléments, du placement du contenu sur une page, parfois même de la couleur, de l'orientation, etc. qui jouent un rôle de premier plan dans le acceptation globale du produit par son utilisateur final.

Une branche de test qui peut beaucoup aider dans ce domaine est la Test multivarié et test A / B .

Dans l'article d'aujourd'hui, nous discuterons Test multivarié (MVT) et Test A / B types en détail.

Ces deux éléments visent à optimiser la page Web et à améliorer le taux de conversion (le taux auquel les visiteurs deviennent des clients ou des visiteurs récurrents - à leur tour, des affaires) pour un site Web.

Qu'est-ce que le test multivarié?

Commençons par un Exemple .

Si un certain site Web travaille sur la conception / la refonte / la détermination de l'efficacité d'une page qui devrait avoir une image et le texte correspondant - Après un examen et une délibération minutieux si l'entreprise sélectionne les deux images et deux phrases suivantes - les combinaisons possibles d'entre elles pourraient être comme suit:

1) Image 1

2) Image 2

3) Titre / phrase 1: 'L'objectif doit être zéro accident'

4) Titre / phrase 2: 'Notre BUT: aucun ACCIDENT'

Combinaisons:

Dans l'exemple ci-dessus, nous avons testé des variations des combinaisons des champs pour voir laquelle correspond le mieux. En termes simples, il existe des tests multivariés.

Plus techniquement et spécifiquement, la formule ci-dessous est utilisée pour déterminer le non. des combinaisons possibles qui sont nécessaires pour tester les différentes combinaisons et c'est-à-dire:

(# Variations sur l'élément A) X (# Variations sur l'élément B)… .. = (Nombre total de variations)

Dans l'exemple ci-dessus, il existe 2 variantes pour le titre ainsi que 2 variantes pour l'image.

Ainsi, selon la formule, il y a un total de 4 combinaisons des variations à tester simultanément pour trouver la meilleure combinaison de variations.

• Le principal objectif de l'exécution des tests multivariés est de mesurer et de déterminer l'efficacité de chaque combinaison de variations sur le système final.
• Après avoir finalisé les combinaisons de variantes, les tests pour déterminer la conception la plus réussie sont lancés une fois qu'un trafic suffisant est reçu par le site.
• Les résultats obtenus avec chaque combinaison de variations sont comparés aux autres pour savoir quelle conception est la mieux adaptée pour atteindre le but ultime (dans la plupart des cas, il est Ventes ).
• Ces statistiques donnent une image claire de la question de savoir si le changement particulier a été utile ou non.
• En outre, un impact positif ou négatif sur l'interaction de l'utilisateur peut également être analysé

Tout ce processus de tests multivariés continus, améliorant la conception en fonction des résultats obtenus et atteignant les objectifs commerciaux grâce à cela ( Exemple: un temps d'engagement plus long pour un utilisateur sur une certaine page) est appelé Optimisation de la page de destination - dont le but est d'attirer plus d'utilisateurs et de les maintenir engagés sur une certaine page.

Ce processus implique en grande partie des tests avec de multiples variations, la collecte de statistiques et des modifications basées sur les valeurs / résultats obtenus.

Non seulement limité aux sites Web, mais des tests à plusieurs variables sont également nécessaires pour les applications mobiles. Les sites Web et les applications mobiles sont composés de combinaisons d'éléments variables et, par conséquent, le test multivarié est effectué pour déterminer quelle combinaison de variations fonctionne le mieux.

Cela joue un rôle crucial dans la stratégie de marketing Internet.

Types de tests MVT:

Sur la base de la répartition du trafic entre plusieurs versions de variantes, il existe plusieurs types de tests multivariés qui peut être effectuée:

a) Test factoriel complet:

Il s'agit de la forme de test MVT la plus préférée dans laquelle chaque combinaison possible de variations d'éléments est testée de la même manière en détournant le trafic du site Web vers elle jusqu'à ce qu'un gagnant soit trouvé. Toutes les combinaisons possibles ont une probabilité égale. La meilleure chose à propos de cette méthode est qu'il n'y a pas d'hypothèses et qu'elle est basée sur des chiffres / statistiques concrets, ce qui la rend très fiable et la plus recommandée.

Le seul inconvénient est le trafic. Avec l'augmentation du nombre de combinaisons diverses, il faut beaucoup de trafic sur le site Web pour analyser les données et décider du gagnant.

b) Essais factoriels fractionnaires ou partiels:

Comme son nom l'indique, seule une fraction de toutes les versions de combinaison de variantes est exposée au trafic du site Web. Des calculs mathématiques statiques et des analyses sont effectués pour le reste des combinaisons afin de trouver le meilleur taux de conversion.

Méthode Taguchi est la méthode la plus populaire pour les tests factoriels multivariés fractionnaires. Cette méthode donne un résultat moins précis car seul un échantillon des variations est testé et pas toutes. Bien que cette méthode prenne moins de temps pour analyser le gagnant, le résultat ne peut jamais être considéré comme aussi précis qu'il peut l'être en cas de test factoriel complet.

c) Test multivarié adaptatif:

Il s'agit d'une nouvelle approche des tests multivariés. Dans ce cas, la réponse en temps réel des visiteurs sur la page Web est analysée pour déterminer la meilleure version de combinaison de variations.

d) Choix discret:

Cette méthode révèle les effets d'interaction, par exemple comment les gens créent des compromis du point de vue d'une décision d'achat. C'est une technique complexe qui fait systématiquement varier les attributs ou les éléments de contenu.

e) Conception optimale:

Cette méthode comprend des itérations et une vague de tests. En plus de tester le nombre maximal de variations créatives en un minimum de temps, il permet également aux spécialistes du marketing de prendre en compte les relations, les interactions et les limites entre les éléments de contenu d'un site Web ou d'une application. Cela aide à trouver la solution optimale.

Passons à une question importante: Le marketing Web peut-il être optimisé par des tests multivariés?

La réponse est un oui retentissant'.

En utilisant les tests multivariés, nous pouvons clairement déterminer ce qui doit être mis en œuvre et ce qui doit être évité. Tout est axé sur l’expérience du visiteur.

Les aspects suivants sont pris en compte lors du test multivarié:

#1. La condition préalable pour les tests multivariés est de: Définissez des objectifs marketing ou examinez les objectifs du site Web. Voici quelques exemples:

• Faites un maximum de revenus / bénéfices grâce à la publicité, la vente de produits, payez pour les clics.
• Créer une notoriété auprès de la clientèle
• Économisez des dépenses - par exemple: Guidez les utilisateurs vers le libre-service via des FAQ plutôt qu'en ligne, dans un service personnalisé.

#deux. Seuls les éléments qui ciblent réellement les objectifs marketing de l'organisation doivent être testés.

# 3. Choisissez uniquement les éléments qui mesureront avec précision les objectifs marketing.

Des exemples pourraient être:

• Pour gagner plus d'argent, les pages qui incluent des options telles que 'Acheter maintenant' / 'paiement' / flux pour effectuer une inscription ou une inscription doivent être axées sur.
• Pour sensibiliser les visiteurs et faire de la promotion, «envoyer à un ami» / «parrainer un ami» / «partager», etc. peut être utile
• Pour faire des économies, l'accent peut être mis sur des éléments tels que les FAQ, l'aide, le contact, les appels, les clics 'Ajouter au panier' qui mènent à des pages de remerciement, etc.

Comment faire des tests multivariés

1. Identifiez un problème

La première étape consiste à identifier le problème. Cela vous donne la portée de l'amélioration de votre site Web ou de votre application. Par exemple, le problème peut être quelque chose comme la raison pour laquelle les visiteurs du site Web ne cliquent pas sur le bouton de téléchargement.

2. Formuler une hypothèse

Faites une hypothèse pour améliorer la page Web. Par exemple, l'hypothèse peut être que les clients ne cliquent pas sur le bouton de téléchargement car sa visibilité n'est pas attrayante. Ainsi, en le rendant attrayant, il y aurait une augmentation des téléchargements.

3. Créer des variantes

Sélectionnez les facteurs et créez des variations. Supposons que les deux facteurs soient l'en-tête 'Télécharger' et le lien 'Producteur PDF'. À titre d'exemple, nous avons ci-dessous 12 variantes:

4. Déterminez la taille de votre échantillon

Découvrez combien de visiteurs sont nécessaires sur chaque page, combien de temps vous avez besoin pour exécuter le test, combien de variations vous avez et la signification statistique.

5. Testez vos outils

Testez tout (principalement, votre page Web / application fonctionne-t-elle correctement) avant de commencer à exécuter le test afin que rien ne vienne empoisonner les résultats de votre test.

6. Commencez à générer du trafic

Commencez à générer du trafic vers vos variantes.

7. Analysez vos résultats

Après avoir exécuté le test pendant un laps de temps significatif, vous obtenez les résultats à analyser. Un exemple est présenté ci-dessous:

Ceux qui ont un niveau de confiance de 95% ou plus sont des résultats statistiquement significatifs.

8. Apprenez de vos résultats

C'est la dernière étape importante. À partir du test multivarié, vous en apprenez davantage sur vos pages Web / application et ses visiteurs. Vous pouvez utiliser cet apprentissage pour de futurs tests.

Un mot d'avertissement - Méfiez-vous des éléments suivants lorsque vous effectuez des tests multivariés:

Erreurs à éviter

1. Mauvais choix de variantes . Par exemple Supposons que nous changions la taille de la police, la couleur et le style du texte du titre en même temps sous une seule version de combinaison de variantes. Il sera alors difficile d'analyser à partir des données reçues sur quelle variation du titre (que ce soit la taille de la police, la couleur ou le style) a fait réagir le visiteur différemment.
2. Durée trop courte d'un test multivarié . Mettre fin au test prématurément et choisir une petite plage de données pour analyser le gagnant peut conduire à des statistiques invalides.
3. Durée trop longue d'un test multivarié. Exécuter le test trop longtemps pour analyser les données marginales entraîne également une perte de temps importante
4. Mauvaise compréhension des indicateurs clés. Focalisation, analyse et suivi de la combinaison variable de ces indicateurs qui ne sont pas significatifs ou sans rapport avec l'objectif final
5. Seuls quelques indicateurs clés de performance sont identifiés tandis que de nombreux autres ne sont pas suivis
6. Décider du type de trafic des visiteurs vers une page Web. Cela peut être très risqué et problématique car tous les visiteurs ne sont pas identiques.
7. Ne pas analyser les résultats et apporter les bonnes modifications au site.

À faire et pas

Dans la liste ci-dessus, un résumé de à faire et à ne pas faire pourrait être:

À ne pas faire:

N'essayez pas d'inclure beaucoup de variables dans le test. Plus le nombre de variables à tester est élevé; plus les combinaisons seront importantes, ce qui signifie qu'il faudra plus de trafic pour recueillir des statistiques importantes.

À faire:

1. Prévisualisez toutes les versions de combinaisons de variantes avant de démarrer le test car certains d'entre eux pourraient être incompatibles ou illogiques. Par exemple, l'une des combinaisons de variables est celle du titre indiquant «50% de réduction sur l'abonnement» et du bouton d'arrêt indiquant «abonnement gratuit». Ces derniers devraient être supprimés.

2. Décidez de l'impact des versions combinées sur le taux de conversion. Il est judicieux d'inclure uniquement les combinaisons qui ont un impact plus important sur le taux de conversion.

3. Estimer le trafic de la page Web afin de collecter des données statistiques importantes. Avant de commencer le test, il est préférable d'avoir une idée claire du trafic sur la page Web. Si une page Web ne compte que 100 à 200 visiteurs par jour, nous ne devons considérer que quelques variables pour exécuter le test multivarié.

Avantages et inconvénients

Jusqu'à présent, nous avons vu ce que sont les tests multivariés, comment ils sont effectués, les erreurs, les facteurs, les choses à faire et à ne pas faire, etc. Avantages et Les inconvénients de celui-ci:

Avantages:

1. Une meilleure compréhension et une meilleure compréhension de l'effet des variables ou des éléments sur le taux de conversion Plus de trafic conduit à plus de données statistiques, ce qui conduit à une meilleure analyse et prise de décision en termes de meilleure combinaison de variables pour atteindre l'objectif ultime.
2. En termes de modifications de conception et de mise en page, les tests multivariés sont flexibles.

Les inconvénients:

1. Les exécutions de tests multivariés prennent plus de temps.
2. Beaucoup de trafic sur la page Web est nécessaire pour obtenir des statistiques importantes.
3. Plus compliqué à mettre en place des tests.
4. Nécessite un plus grand nombre de versions de combinaisons variables pour l'exécution du test.

Test A / B

Comme il s'agit d'une brève liste de tout ce qui concerne les tests multivariants, il n'y a pas de fin à la variété de tests qui peuvent être effectués pour effectuer l'optimisation de la page Web et une autre méthode populaire disponible est la Test A / B .

Qu'est-ce que le test A / B?

( image la source)

Les tests A / B sont également parfois appelés Test fractionné . Cependant, le test fractionné est différent. Nous verrons la différence entre eux dans la dernière partie de ce tutoriel.

Dans les tests A / B, deux versions de la même page Web sont testées avec une quantité égale de trafic sur la page Web. La version qui obtient un nombre maximum de conversions est la gagnante ultime. Cette nouvelle version augmente définitivement le taux de conversion.

Exemple de test A / B Split:

Laissez-nous comprendre le fonctionnement des tests A / B avec un petit exemple :

L'image ci-dessus est une page Web de sensibilisation à la sécurité.

Cette image se compose d'un bouton gris indiquant ' Répondez à un quiz et gagnez des prix intéressants ». Cette page Web originale est considérée comme une« version A ». Désormais, la «version B» est conçue avec une variation de couleur du bouton du gris au rouge.

Ceci est montré dans l'image ci-dessous:

Le trafic de la page Web en direct est détourné vers les deux versions. Une fois que suffisamment de visiteurs ont passé le test et avec les données statistiques reçues, il est facile de déterminer quelle version a un effet plus important sur le taux de conversion.

Ici, dans l'exemple ci-dessus, un bouton disant ' Répondez à un quiz et gagnez des prix intéressants »De couleur rouge a attiré plus de visiteurs à appuyer sur le bouton et à répondre à un quiz que l'ancien bouton gris.

Ainsi, l'objectif ultime de la page Web consistant à augmenter les revenus a été atteint.

Avantages et Les inconvénients des tests A / B:

Avantages:

1. Méthode simple et facile pour mettre en place des expériences d'optimisation de page Web.
2. Des résultats fiables et précis peuvent être facilement déterminés même avec un faible trafic de page Web.
3. Les tests peuvent être effectués très rapidement et les données statistiques peuvent être analysées pour atteindre le but ultime.
4. Pas beaucoup dépendant de toute forme de technologie.
5. Plus apte aux changements de mise en page, de contenu, de conception de toute page Web.

Les inconvénients:

1. Seules quelques modifications ou, par exemple, un nombre limité de modifications peuvent être apportées à une page Web à la fois.
2. Il n'est pas possible de déterminer l'impact des différentes variables présentes sur une page Web les unes sur les autres.

Tableau de comparaison:

Test A / B vs test multivarié vs test fractionné

Les tests A / B, les tests multivariés et les tests fractionnés sont les trois principaux types de tests de variantes UX (expérience utilisateur). Voyons en quoi ils sont différents les uns des autres.

Les deux images ci-dessous vous donnent une très bonne comparaison illustrative entre les tests A / B et les tests multivariés.

Test multivarié

Test fractionné:

Nous avons une autre variante ici connue sous le nom de test d'URL fractionné qui est beaucoup plus compliqué que les tests A / B et implique modifications côté serveur , où nous avons deux pages Web différentes qui sont testées l'une par rapport à l'autre. Ce type de test fonctionne bien pour les pages de destination dans les cas où l'équipe de conception doit décider laquelle fonctionnera le mieux.

Outils de test A / B / Split / Multivarié

Il existe de nombreux outils disponibles sur le marché pour ces trois types de tests UX. Je citerais quelques-uns des meilleurs que vous puissiez explorer. Ce sont Google Optimize, Optimizely, VMO, Qubit, Maxymiser et AB Tasty.

Conclusion :

Les deux méthodes, A / B et les tests multivariés augmentent le taux de conversion, améliorent les performances et optimisent les pages Web et les applications. Les deux sont utiles à leur manière et présentent également leurs lacunes et leurs défis uniques - il nous appartient d'identifier et d'analyser la méthode qui répondra le mieux à l'exigence.

Nous, les testeurs, sommes principalement impliqués dans le test des changements effectués pour implémenter des tests multivariés ou A / B. Une fois ces modifications apportées et testées, elles peuvent être exécutées sur l'environnement de production par l'équipe marketing ou commerciale pour recueillir les résultats.

Il est donc très important que les testeurs testent ces changements très attentivement, sinon les résultats finaux seraient inexacts, ce qui entraînerait d'énormes pertes commerciales car cela est la plupart du temps directement lié aux revenus de l'entreprise.

lecture recommandée

• Meilleurs outils de test de logiciels 2021 (Outils d'automatisation des tests QA)
• Téléchargement de l'e-book 'Testing Primer'
• Test statique et test dynamique - Différence entre ces deux techniques de test importantes
• Test de charge avec les didacticiels HP LoadRunner
• Différence entre les tests de bureau, client-serveur et Web
• Qu'est-ce que le test gamma? L'étape finale du test
• Qu'est-ce que les tests de conformité (tests de conformité)?
• Emploi d'assistant QA en test logiciel