Tests modérés et non modérés : une feuille de route pratique pour choisir et appliquer chacun

La question arrive presque toujours dans le mauvais ordre : "allons-nous faire un test modéré ou non modéré ?". La méthode se choisit avant de définir ce que l’on souhaite apprendre. Le résultat est prévisible, du temps et de l’argent sont gaspillés pour une mauvaise approche du problème.

Les tests modérés et non modérés sont deux façons d'effectuer des tests d'utilisabilité, en observant de vraies personnes utilisant le produit pour découvrir où il échoue. Les deux fonctionnent. Mais ils servent des objectifs différents, et leur utilisation en dehors du contexte approprié est un gaspillage d’efforts ou produit des conclusions faibles.

Il s'agit d'un guide pratique : qu'est-ce que chacun est, quand utiliser lequel et comment l'appliquer sans commettre les erreurs qui vident la recherche. Aucune théorie au-delà de ce qui est nécessaire.

Qu'est-ce qui change entre modéré et non modéré

La différence réside dans la présence d’un animateur lors de l’épreuve.

Dans le test modéré, un chercheur accompagne le participant en temps réel, en personne ou par appel. Il propose des tâches, observe et peut demander « à quoi penses-tu maintenant ? ou "pourquoi as-tu cliqué là?". Il s'agit d'une conversation guidée autour de l'utilisation du produit.

Dans le test non modéré, le participant utilise le produit seul, sans que personne ne le regarde en direct. Il reçoit des tâches d'un outil, les exécute à son rythme et dans son environnement, et le système enregistre ce qui s'est passé, les clics, les chemins, parfois l'écran et la voix. Le chercheur l’analyse ensuite.

Pour résumer le compromis central : modéré donne de la profondeur et du contexte, mais est coûteux et lent ; non modéré donne de l'ampleur et de la vitesse, mais perd la capacité d'approfondir le moment présent.

Étape 1 : Définir si la question est "pourquoi" ou "combien"

Le script commence ici, avant tout choix de méthode. Quelle est exactement la question de recherche ?

Si la question porte sur la motivation, le raisonnement, la confusion, « pourquoi les gens abandonnent-ils à cette étape ? », « que comprennent-ils à partir de cet écran ? », vous avez besoin de profondeur. Vous devez être capable de poser des questions sur le moment, de voir l’hésitation, de comprendre la pensée. Il s’agit d’un territoire de test modéré.

Si la question concerne le comportement à grande échelle, « quelle version les gens terminent-ils plus rapidement ? », « à quel endroit du flux la plupart des gens plantent-ils ? », vous avez besoin de volume. Il faut de nombreux participants pour que le modèle soit fiable. Il s’agit d’un territoire de test non modéré.

Confondre les deux est l’erreur racine. L'utilisation de modéré pour une question de volume coûte cher et donne un échantillon trop petit. L'utilisation de l'option non modérée pour une question « pourquoi » génère des données sans l'explication que vous recherchiez.

Étape 2 : quand modéré est le bon choix

Les tests modérés brillent lorsque le produit, le flux ou l’idée est encore nouveau et plein d’inconnues.

Utilisez-le au début, lorsque vous ne savez même pas quels sont les problèmes. La conversation en temps réel révèle l'inattendu : la personne comprend un concept d'une manière que vous n'auriez jamais imaginée, elle se retrouve bloquée pour une raison qui n'était pas sur votre radar. Cela n'apparaît que lorsqu'il y a quelqu'un pour comprendre et demander.

Utilisez-le également dans des flux complexes ou à risque, un processus en plusieurs étapes, une décision importante, un public spécifique dont vous devez comprendre en profondeur le raisonnement. Dans un service public utilisé par des personnes ayant différents niveaux de familiarité avec le numérique, par exemple, observer attentivement l'endroit où quelqu'un se perd vaut plus que n'importe quel chiffre.

La limitation à accepter : parce que cela coûte cher et prend du temps, le modéré travaille avec peu de participants. C'est suffisant pour découvrir les problèmes, une poignée de personnes révèlent déjà la plupart des principaux obstacles à l'utilisabilité, mais pas pour les mesurer avec précision.

Étape 3 : Lorsque la non-modération est le bon choix

Les tests non modérés brillent lorsque vous avez déjà des hypothèses claires et que vous souhaitez les valider haut et fort.

Utilisez-le pour comparer des alternatives : deux versions d’un écran, deux flux de paiement. Avec de nombreux participants, le modèle qui fonctionne le mieux est statistiquement plus fiable qu’avec cinq personnes.

Utilisez-le lorsque vous avez besoin de vitesse et d’évolutivité. Comme il n’est pas nécessaire de planifier et de suivre chaque session, il est possible de recueillir les réponses de dizaines de personnes en peu de temps, y compris dans différents lieux et contextes. Pour un produit à grande échelle, cela permet d'obtenir une variété que la modération, limitée à quelques participants, ne permet pas d'obtenir.

La limitation à accepter : vous perdez le « pourquoi » en temps réel. Vous voyez que les gens sont bloqués à un moment donné, mais vous ne pouvez pas immédiatement demander pourquoi. Par conséquent, des tâches mal écrites ruinent le test non modéré, sans quelqu'un pour clarifier, toute ambiguïté dans l'instruction se transforme en bruit dans les données.

Étape 4 : en pratique, combiner les deux

Le scénario mature ne choisit pas l’un et n’abandonne pas l’autre. Combinez en séquence.

Une approche qui fonctionne bien : commencez par des tests modérés pour découvrir les problèmes et comprendre le pourquoi dans une période d'incertitude. Ensuite, avec des hypothèses déjà formulées, utilisez un test non modéré pour valider sur une échelle si ce que vous avez observé chez quelques personnes est confirmé chez plusieurs.

C'est le cycle d'apprentissage en profondeur puis de confirmation en ampleur. Le modéré génère les bonnes questions ; les mesures non modérées répondent avec confiance. Les traiter comme des options complémentaires et non concurrentes est ce qui permet de tirer le meilleur parti de chacune d’elles.

Les erreurs qui minent tout test d'utilisabilité

Quelle que soit la méthode utilisée, certaines erreurs font échouer l’ensemble de la recherche.

La première consiste à recruter les mauvaises personnes. Les tests effectués avec des collègues ou avec des personnes qui ne représentent pas l'utilisateur réel génèrent des conclusions qui ne sont pas valables pour le public réel. Celui qui le teste doit ressembler à la personne qui l'utilise.

La seconde est de guider le participant. Avec modération, il est facile, sans s'en rendre compte, d'« aider », d'indiquer le chemin, de suggérer le clic. Cela contamine le résultat : vous vouliez voir si la personne pouvait le faire seule, et vous avez fini par le faire à sa place. La règle est d’observer et de demander, de ne jamais enseigner.

La troisième confond opinion et comportement. Ce qu’une personne dit qu’elle ferait n’est pas toujours ce qu’elle fait. Les tests d'utilisabilité reposent sur le comportement observé, l'endroit où vous avez cliqué, l'endroit où vous vous êtes arrêté, bien plus que sur votre opinion déclarée. "J'ai trouvé ça facile", dit quelqu'un qui a pris cinq minutes et fait deux erreurs, en dit moins que ce que vous avez vu se produire.

La méthode est un moyen ; l'apprentissage est la fin

En fin de compte, les outils modérés et non modérés sont au service d’une seule chose : prendre des décisions concernant les produits en fonction du comportement de vraies personnes, et non de la façon dont l’équipe imagine qu’elles se comportent.

Le choix entre les deux est technique et pratique, il dépend de la question, du moment, du budget et de l'ampleur dont vous avez besoin. Ce qui n'est pas négociable, c'est de faire une sorte de test. Un produit conçu uniquement avec l'intuition de ceux qui le construisent comporte le parti pris de ceux qui sont trop proches pour voir la confusion de l'utilisateur commun.

Le test est l’acte d’humilité qui sépare ceux qui pensent savoir ce que veut l’utilisateur de ceux qui sont allés vérifier. Bien choisir la méthode, c’est simplement s’assurer que cette vérification en vaut la peine.

Si vous êtes sur le point d'investir dans la recherche d'utilisateurs et que vous n'avez pas encore défini à quelle question vous souhaitez répondre, cela vaut la peine de résoudre ce problème avant de choisir la méthode. J'ai d'autres articles sur le blog sur l'UX, la recherche et la conception de produits qui approfondissent le sujet.