Moderierte und nicht moderierte Tests: eine praktische Roadmap für die Auswahl und Anwendung der einzelnen Tests

Die Frage kommt fast immer in der falschen Reihenfolge: „Machen wir einen moderierten oder einen unmoderierten Test?“ Die Methode wird ausgewählt, bevor definiert wird, was Sie lernen möchten. Das Ergebnis ist vorhersehbar, Zeit und Geld werden durch die falsche Herangehensweise an die Frage verschwendet.

Moderierte und nicht moderierte Tests sind zwei Möglichkeiten, Usability-Tests durchzuführen. Dabei werden echte Menschen beobachtet, die das Produkt verwenden, um herauszufinden, wo es versagt. Beide funktionieren. Aber sie dienen unterschiedlichen Zwecken, und wenn man sie außerhalb des richtigen Kontexts verwendet, ist das eine Zeitverschwendung oder führt zu schwachen Schlussfolgerungen.

Dies ist ein praktischer Leitfaden: Was jeder einzelne ist, wann welcher zu verwenden ist und wie man ihn anwendet, ohne die Fehler zu machen, die die Forschung leer machen. Keine Theorie über das Notwendige hinaus.

Was ändert sich zwischen moderiert und unmoderiert?

Der Unterschied besteht in der Anwesenheit eines Moderators während des Tests.

Beim moderierten Test begleitet ein Forscher den Teilnehmer in Echtzeit, persönlich oder per Telefon. Er schlägt Aufgaben vor, beobachtet und fragt möglicherweise: „Was denken Sie gerade?“ oder „Warum haben Sie dort geklickt?“. Es handelt sich um ein geführtes Gespräch rund um die Verwendung des Produkts.

Beim unmoderierten Test nutzt der Teilnehmer das Produkt alleine, ohne dass jemand live zuschaut. Er empfängt Aufgaben von einem Tool, führt sie in seiner eigenen Zeit und Umgebung aus, und das System zeichnet auf, was passiert ist, Klicks, Wege, manchmal auch Bildschirm und Stimme. Der Forscher analysiert es dann.

Um den zentralen Kompromiss zusammenzufassen: Moderat bietet Tiefe und Kontext, ist aber teuer und langsam; Unmoderiert verleiht Skalierung und Geschwindigkeit, verliert jedoch die Fähigkeit, tiefer in den Moment einzutauchen.

Schritt 1: Definieren Sie, ob die Frage „Warum“ oder „Wie viele“ lautet.

Das Skript beginnt hier, bevor eine Methodenauswahl getroffen wird. Was genau ist die Forschungsfrage?

Wenn es um Motivation, Argumentation, Verwirrung geht, „Warum geben die Leute bei diesem Schritt auf?“ oder „Was verstehen sie auf diesem Bildschirm?“, brauchen Sie Tiefe. Sie müssen in der Lage sein, im Moment Fragen zu stellen, das Zögern zu sehen und den Gedanken zu verstehen. Dies ist moderiertes Testgebiet.

Wenn es um das Verhalten im Maßstab geht: „Welche Version schließen die Leute schneller ab?“ oder „Wo im Flow stürzen die meisten Leute ab?“, brauchen Sie Volumen. Damit das Muster zuverlässig ist, sind viele Teilnehmer erforderlich. Dies ist unmoderiertes Testgebiet.

Die Verwechslung der beiden ist der Grundfehler. Die Verwendung von „moderat“ für eine Volumenfrage ist teuer und ergibt eine zu kleine Stichprobe. Wenn Sie „unmoderiert“ für eine „Warum“-Frage verwenden, werden Daten ohne die gesuchte Erklärung generiert.

Schritt 2: Wenn moderat die richtige Wahl ist

Moderierte Tests glänzen, wenn das Produkt, der Ablauf oder die Idee noch neu und voller Unbekannter ist.

Verwenden Sie es am Anfang, wenn Sie noch nicht einmal wissen, wo die Probleme liegen. Gespräche in Echtzeit offenbaren das Unerwartete: Die Person versteht ein Konzept auf eine Weise, die Sie sich nie hätten vorstellen können, sie bleibt aus einem Grund stecken, den Sie nicht auf dem Schirm hatten. Dies erscheint nur, wenn jemand da ist, der es versteht und fragt.

Verwenden Sie es auch bei komplexen oder risikoreichen Abläufen, einem mehrstufigen Prozess, einer wichtigen Entscheidung oder einer bestimmten Zielgruppe, deren Argumentation Sie eingehend verstehen müssen. In einem öffentlichen Dienst, der von Menschen mit unterschiedlicher digitaler Vertrautheit genutzt wird, ist beispielsweise die genaue Beobachtung, wo sich jemand verirrt, mehr wert als jede Zahl.

Die zu akzeptierende Einschränkung: Da es teuer und zeitaufwändig ist, arbeitet der Moderator mit wenigen Teilnehmern. Dies reicht aus, um Probleme zu entdecken. Eine Handvoll Leute offenbaren bereits die meisten großen Usability-Hürden, aber nicht, um genau zu messen.

Schritt 3: Wenn unmoderiert die richtige Wahl ist

Unmoderierte Tests glänzen, wenn Sie bereits klare Hypothesen haben und diese lautstark und schnell validieren möchten.

Verwenden Sie es, um Alternativen zu vergleichen: zwei Versionen eines Bildschirms, zwei Checkout-Abläufe. Bei vielen Teilnehmern ist das Muster, welches am besten funktioniert, statistisch gesehen zuverlässiger als bei fünf Personen.

Verwenden Sie es, wenn Sie Geschwindigkeit und Skalierbarkeit benötigen. Da es nicht erforderlich ist, jede Sitzung zu planen und zu verfolgen, ist es möglich, in kurzer Zeit Antworten von Dutzenden von Personen zu sammeln, auch aus verschiedenen Orten und Kontexten. Bei einem breit angelegten Produkt wird dadurch Vielfalt erfasst, die moderiert und auf wenige Teilnehmer beschränkt nicht erreicht wird.

Die zu akzeptierende Einschränkung: Sie verlieren das Echtzeit-Warum. Man sieht, dass die Leute an einem Punkt feststecken, aber man kann nicht sofort fragen, warum. Daher ruinieren schlecht geschriebene Aufgaben den nicht moderierten Test, und ohne jemanden, der dies klärt, führt jede Unklarheit in der Anweisung zu Rauschen in den Daten.

Schritt 4: Kombinieren Sie in der Praxis beides

Das ausgereifte Drehbuch wählt nicht das eine und gibt das andere auf. Nacheinander kombinieren.

Ein Ansatz, der gut funktioniert: Beginnen Sie mit moderaten Tests, um in einer Zeit der Unsicherheit die Probleme aufzudecken und die Gründe dafür zu verstehen. Verwenden Sie dann, nachdem bereits Hypothesen gebildet wurden, einen unmoderierten Test, um auf einer Skala zu validieren, ob das, was Sie bei einigen wenigen Menschen beobachtet haben, bei vielen bestätigt wird.

Es ist der Zyklus des gründlichen Lernens und der anschließenden Bestätigung in der Breite. Der Moderate stellt die richtigen Fragen; Die unmoderierten Maßnahmen reagieren mit Zuversicht. Wenn man sie als komplementäre und nicht als konkurrierende Optionen betrachtet, holt man das Beste aus jeder einzelnen heraus.

Die Fehler, die jeden Usability-Test untergraben

Unabhängig von der Methode können einige Fehler die gesamte Forschung zunichtemachen.

Die erste besteht darin, die falschen Leute zu rekrutieren. Tests mit Kollegen oder mit Personen, die nicht den tatsächlichen Benutzer repräsentieren, führen zu Schlussfolgerungen, die für die tatsächliche Öffentlichkeit nicht gültig sind. Wer es testet, muss wie die Person aussehen, die es benutzt.

Die zweite besteht darin, den Teilnehmer anzuleiten. In Maßen ist es einfach, ohne es zu merken, zu „helfen“, den Weg zu weisen, den Klick vorzuschlagen. Das verfälscht das Ergebnis: Sie wollten sehen, ob die Person es alleine schaffen könnte, und am Ende haben Sie es für sie getan. Die Regel lautet: Beobachten und fragen, niemals lehren.

Die dritte Möglichkeit besteht darin, Meinung und Verhalten zu verwechseln. Was eine Person sagt, dass sie es tun würde, ist nicht immer das, was sie tut. Usability-Tests basieren viel mehr auf dem beobachteten Verhalten, wo Sie geklickt haben, wo Sie aufgehört haben, als auf Ihrer erklärten Meinung. „Ich fand es einfach“, sagt jemand, der sich fünf Minuten Zeit genommen und zweimal Fehler gemacht hat, weniger als das, was Sie gesehen haben.

Methode ist Mittel; Lernen ist das Ende

Letztlich sind moderiert und unmoderiert Werkzeuge, die einem dienen: Produktentscheidungen auf der Grundlage des Verhaltens realer Menschen zu treffen, und nicht darauf, wie sich das Team ihr Verhalten vorstellt.

Die Wahl zwischen beiden ist technischer und praktischer Natur und hängt von der Frage, dem Zeitpunkt, dem Budget und dem Umfang ab, den Sie benötigen. Was nicht verhandelbar ist, ist die Durchführung irgendeiner Art von Tests. Ein Produkt, das ausschließlich mit der Intuition derjenigen entwickelt wurde, die es bauen, trägt die Voreingenommenheit derjenigen in sich, die zu nah dran sind, um die Verwirrung des normalen Benutzers zu erkennen.

Testen ist der Akt der Demut, der diejenigen, die glauben zu wissen, was der Benutzer will, von denen trennt, die es überprüft haben. Eine gute Wahl der Methode stellt lediglich sicher, dass sich diese Überprüfung lohnt.

Wenn Sie gerade dabei sind, in User Research zu investieren und noch nicht definiert haben, welche Frage Sie beantworten möchten, lohnt es sich, diese vor der Wahl der Methode zu klären. Ich habe weitere Artikel auf dem Blog über UX, Forschung und Produktdesign, die tiefer in das Thema eintauchen.