Expérimentation numérique : des outils pour les débutants

Lorsqu’une personne s’intéresse à l’expérimentation numérique, la première question est souvent « quel outil utiliser ? C’est une question naturelle et, en même temps, ce n’est pas la bonne question au départ.

L'expérimentation n'est pas un problème d'outil. C'est une façon de penser. L’outil exécute simplement un test que votre tête doit avoir formulé bien au préalable. Commencer par la plateforme, sans comprendre le raisonnement qui la sous-tend, conduit à des tests mal conçus qui produisent des conclusions erronées qui ressemblent à celles de la science, le pire de tous les mondes.

L’idée que je souhaite transmettre à ceux qui débutent est simple : apprendre à penser comme quelqu’un qui expérimente avant de choisir un outil. Lorsque l’état d’esprit est en place, n’importe quel outil raisonnable fera l’affaire. Dans le cas contraire, aucun outil n'est enregistré.

Ce que signifie réellement faire l'expérience

Expérimenter, dans un produit numérique, c'est tester un changement sur une partie des utilisateurs et comparer le résultat avec ceux qui n'ont pas reçu le changement. Au lieu de débattre pour savoir si l’idée est bonne, vous laissez le comportement réel des gens répondre.

Le format le plus connu est l'A/B testing : la moitié des personnes voient la version A, l'autre moitié voient la version B, et vous observez laquelle génère le plus de résultats que vous recherchez, plus de clics, plus d'inscriptions, plus d'utilisation.

La beauté de cette méthode est qu’elle remplace l’opinion par des preuves. Lors d’une réunion, celui qui parle le plus fort gagne. Dans une expérience, ce qui fonctionne l’emporte. Pour ceux qui débutent, comprendre cet échange représente la moitié de la bataille, expérimenter est une forme d’humilité organisée.

L'hypothèse passe avant l'outil

Toute expérience valable commence par une hypothèse claire. Et l'hypothèse n'est pas "testons la couleur de ce bouton et voyons ce qui se passe". C'est une affirmation qui peut être confirmée ou infirmée.

Une bonne hypothèse prend la forme : « nous pensons que changer X provoquera Y, parce que Z ». Par exemple : "nous pensons que rendre le prix visible avant l'inscription augmentera la réalisation des achats, car cela réduit l'insécurité des utilisateurs."

Notez que rien de tout cela ne dépend de l'outil. C’est le travail intellectuel de l’expérimentation, et c’est là que les débutants font le plus d’erreurs, se lançant directement dans les tests sans avoir formulé ce qu’ils essaient d’apprendre. Sans aucune chance, même le résultat le plus propre ne vous dit pas quoi faire.

Les outils, enfin : comment réfléchir au choix

Lorsque l’on sait déjà formuler des hypothèses, il est alors logique de s’intéresser aux outils. Et le conseil pour les débutants est le suivant : commencez simplement.

Il existe des plateformes dédiées aux tests A/B qui se chargent de diviser les utilisateurs, d'afficher les variations et de calculer les résultats. Ils sont puissants, mais beaucoup sont complexes et coûteux pour ceux qui apprennent. Il existe également des outils d'analyse dotés déjà de fonctionnalités de comparaison intégrées, suffisantes pour les premières expériences.

Pour commencer, ce qui compte dans un outil est : répartit-il équitablement les utilisateurs entre les versions ? Est-ce que cela mesure le résultat qui vous intéresse ? Pouvez-vous comprendre ce que cela montre ? Si la réponse est oui, cela fonctionne. Les fonctionnalités avancées peuvent attendre que vous ayez des questions avancées.

Résistez à la tentation de choisir l’outil le plus sophistiqué. Une plateforme puissante entre les mains de ceux qui ne savent pas encore comment formuler un test est un gaspillage coûteux. Commencez par ce que vous pouvez bien utiliser.

L'erreur de confondre coïncidence et résultat

L'erreur technique la plus courante chez les débutants est de tirer une conclusion d'un test qui n'a pas encore fini de « mûrir ». Vous effectuez un test pendant deux jours, voyez la version B gagner et déclarez la victoire.

Le problème est que, avec peu de données, le résultat peut être une pure chance. Si vous lancez une pièce quatre fois et qu'elle tombe sur trois faces, cela ne prouve pas que la pièce est biaisée. C'est la même chose avec les produits : les résultats de quelques personnes, en peu de temps, sont trompeurs.

Par conséquent, même en commençant simplement, il vaut la peine d’apprendre une règle d’or : laisser l’expérience se dérouler avec suffisamment de personnes et suffisamment de temps avant de la conclure. Décider trop tôt est le moyen le plus courant de trop expérimenter et de mal apprendre.

Commencez petit et à faible risque

Pour ceux qui débutent, la meilleure première expérience est sur quelque chose de petit qui ne causera pas de dégâts en cas de problème. Le texte d'un bouton, l'ordre de deux sections, le message d'un écran vide.

Ces tests enseignent le cycle complet, formulent une hypothèse, exécutent, attendent, lisent le résultat, sans le fardeau d'une décision critique. Vous gagnez en pratique et en confiance avant d'expérimenter des choses qui affectent la recette ou l'expérience fondamentale du produit.

Et cela vaut la peine d'être prudent, même au début : lorsque vous testez sur de vraies personnes, vous collectez leur comportement. Dans le contexte brésilien, cela est conforme à la LGPD. Expérimenter de manière responsable signifie collecter uniquement ce dont le test a besoin et expliquer clairement pourquoi. Bonne expérimentation et bonne utilisation des données vont de pair dès le premier test.

Tout n'a pas besoin de tests A/B

Une erreur courante commise par ceux qui sont enthousiasmés par l’expérimentation est de vouloir tout tester. Mais les tests A/B ont un coût : ils nécessitent du temps et un volume d’utilisateurs pour fournir une réponse fiable. Pour de nombreuses décisions, il existe des moyens d’apprendre plus rapidement.

Si presque personne n’utilise encore le produit, un test A/B ne fonctionnera pas, il n’y a pas assez de monde pour que le résultat ait un sens. À ce stade, parler à cinq utilisateurs et observer comment ils utilisent le produit vous en apprend plus que n’importe quel test statistique.

Il existe également de petites décisions réversibles qui ne valent pas l’effort d’une expérience formelle. Si un changement est peu coûteux à réaliser et à annuler, il est parfois plus judicieux de simplement le mettre en œuvre et de l’observer plutôt que de monter un test. L’expérimentation est un outil parmi d’autres, et non la réponse à toutes les questions.

Savoir quand ne pas essayer est aussi important que savoir quand essayer. Les tests A/B brillent lorsque vous avez un volume d'utilisateurs, une décision importante et un véritable doute sur la voie à suivre. Au-delà de cela, il existe de meilleurs raccourcis, et les reconnaître est un signe de maturité et non de paresse.

Expérimenter est une habitude, pas un projet

Le plus grand tournant pour ceux qui débutent est de ne pas maîtriser un outil. Cela transforme l'expérimentation en habitude, la réaction naturelle face à un doute devient « comment pouvons-nous tester cela ? plutôt que « qui décide de cela ? ».

Les équipes qui cultivent cette habitude prennent de meilleures décisions, non pas parce qu’elles font plus de bonnes choses, mais parce qu’elles commettent moins souvent des erreurs et apprennent rapidement. Chaque test raté coûte peu et vous apprend quelque chose. C'est le contraire de parier gros sur une intuition et de découvrir tardivement qu'elle était fausse.

Commencez petit, formulez de vraies hypothèses, choisissez un outil que vous comprenez et soyez patient avec les résultats. La sophistication vient avec le temps. L’état d’esprit passe avant tout, et c’est ce qui fait toute la différence.

Si vous faites vos premiers pas dans l'expérimentation et que vous ne savez pas par où commencer ni quel outil est judicieux, cela vaut la peine d'en discuter. Sur le blog, vous trouverez d'autres textes sur les mesures des produits et la culture décisionnelle qui aident à avancer dans cette direction.