Digitales Experimentieren: Werkzeuge für Einsteiger

Wenn sich jemand für digitales Experimentieren interessiert, lautet die erste Frage oft: „Welches Tool verwende ich?“ Es ist eine natürliche Frage und gleichzeitig die falsche Frage.

Experimentieren ist kein Werkzeugproblem. Es ist eine Denkweise. Das Tool führt lediglich einen Test durch, den Ihr Kopf vorher gut formuliert haben muss. Wenn man mit der Plattform beginnt, ohne die dahinter stehende Logik zu verstehen, führt das zu schlecht konzipierten Tests, die zu falschen Schlussfolgerungen führen, die wie Wissenschaft aussehen, die schlechteste aller Welten.

Die Idee, die ich denjenigen vermitteln möchte, die gerade erst anfangen, ist einfach: Lernen Sie, wie jemand zu denken, der experimentiert, bevor Sie sich für ein Werkzeug entscheiden. Wenn die Denkweise vorhanden ist, reicht jedes vernünftige Werkzeug aus. Ist dies nicht der Fall, werden keine Werkzeuge gespeichert.

Was es eigentlich bedeutet, zu erleben

Beim Experimentieren in einem digitalen Produkt wird eine Änderung an einem Teil der Benutzer getestet und das Ergebnis mit denen verglichen, die die Änderung nicht erhalten haben. Anstatt darüber zu streiten, ob die Idee gut ist, lassen Sie das tatsächliche Verhalten der Menschen antworten.

Das bekannteste Format ist das A/B-Testing: Die Hälfte der Leute sieht Version A, die andere Hälfte Version B, und Sie beobachten, welches mehr der gewünschten Ergebnisse, mehr Klicks, mehr Registrierungen, mehr Nutzung generiert.

Das Schöne daran ist, dass es Meinungen durch Beweise ersetzt. In einer Besprechung gewinnt derjenige, der am lautesten spricht. In einem Experiment gewinnt, was funktioniert. Für diejenigen, die gerade erst anfangen, ist das Verstehen dieses Austauschs die halbe Miete; das Experimentieren ist eine Form organisierter Demut.

Die Hypothese kommt vor dem Werkzeug

Jedes lohnende Experiment beginnt mit einer klaren Hypothese. Und die Hypothese lautet nicht: „Testen wir die Farbe dieser Schaltfläche und sehen, was passiert.“ Es handelt sich um eine Aussage, die bestätigt oder dementiert werden kann.

Eine gute Hypothese hat die Form: „Wir glauben, dass die Änderung von X Y verursachen wird, weil Z.“ Zum Beispiel: „Wir glauben, dass die Sichtbarkeit des Preises vor der Registrierung den Kaufabschluss beschleunigen wird, da dies die Unsicherheit der Benutzer verringert.“

Beachten Sie, dass dies nicht vom Werkzeug abhängig ist. Dies ist die intellektuelle Arbeit des Experimentierens, und hier machen Anfänger die meisten Fehler, wenn sie direkt mit dem Testen beginnen, ohne formuliert zu haben, was sie lernen wollen. Ohne Chance sagt Ihnen selbst das sauberste Ergebnis nicht, was Sie tun sollen.

Die Werkzeuge, endlich: Wie man über die Wahl nachdenkt

Wenn Sie bereits wissen, wie man Hypothesen formuliert, ist es sinnvoll, sich Tools anzusehen. Und der Rat für Anfänger lautet: Fangen Sie einfach an.

Es gibt Plattformen für A/B-Tests, die sich um die Aufteilung der Benutzer, die Darstellung von Variationen und die Berechnung der Ergebnisse kümmern. Sie sind leistungsstark, aber viele sind für diejenigen, die lernen, komplex und teuer. Es gibt auch Analysetools, die bereits über integrierte Vergleichsfunktionen verfügen, die für erste Experimente ausreichend sind.

Zunächst kommt es bei einem Tool darauf an, ob die Benutzer gerecht zwischen den Versionen aufgeteilt werden. Misst es das Ergebnis, das Sie interessiert? Können Sie verstehen, was es zeigt? Wenn die Antwort „Ja“ lautet, funktioniert es. Erweiterte Funktionen können warten, bis Sie erweiterte Fragen haben.

Widerstehen Sie der Versuchung, das schickste Werkzeug zu wählen. Eine leistungsstarke Plattform in den Händen derjenigen, die noch nicht wissen, wie man einen Test formuliert, ist eine teure Verschwendung. Beginnen Sie mit dem, was Sie gut gebrauchen können.

Der Fehler, Zufall mit Ergebnis zu verwechseln

Der häufigste technische Fehler von Anfängern besteht darin, aus einem noch nicht „ausgereiften“ Test eine Schlussfolgerung zu ziehen. Sie führen zwei Tage lang einen Test durch, sehen, wie Version B gewinnt, und erklären den Sieg.

Das Problem ist, dass das Ergebnis bei wenigen Daten reines Glück sein kann. Wenn Sie eine Münze viermal werfen und sie dreimal „Kopf“ zeigt, beweist das nicht, dass die Münze voreingenommen ist. Das Gleiche gilt auch für Produkte: Die Ergebnisse einiger weniger Menschen in kurzer Zeit täuschen.

Daher lohnt es sich, auch wenn man einfach anfängt, eine goldene Regel zu lernen: Lassen Sie das Experiment mit genügend Leuten und genügend Zeit laufen, bevor Sie es abschließen. Eine zu frühe Entscheidung ist die häufigste Art, zu viel zu experimentieren und falsch zu lernen.

Fangen Sie klein und mit geringem Risiko an

Für diejenigen, die gerade erst anfangen, ist das erste Experiment am besten, etwas Kleines auszuprobieren, das keinen Schaden anrichtet, wenn es schief geht. Der Text einer Schaltfläche, die Reihenfolge zweier Abschnitte, die Meldung eines leeren Bildschirms.

Diese Tests lehren den gesamten Zyklus, formulieren eine Hypothese, führen aus, warten und lesen das Ergebnis, ohne die Last einer kritischen Entscheidung. Sie gewinnen Übung und Selbstvertrauen, bevor Sie mit Dingen experimentieren, die das Rezept oder das Kernerlebnis des Produkts beeinflussen.

Und schon am Anfang lohnt es sich, vorsichtig zu sein: Beim Testen an realen Menschen erfassen Sie deren Verhalten. Im brasilianischen Kontext steht dies im Einklang mit LGPD. Verantwortungsbewusstes Experimentieren bedeutet, nur das zu sammeln, was für den Test benötigt wird, und sich darüber im Klaren zu sein, warum. Gutes Experimentieren und gute Datennutzung gehen vom ersten Test an Hand in Hand.

Nicht alles braucht A/B-Tests

Ein häufiger Fehler derjenigen, die sich für das Experimentieren begeistern, ist, dass sie alles testen wollen. Aber A/B-Tests haben ihren Preis: Es erfordert Zeit und eine Menge Benutzer, um eine zuverlässige Antwort zu geben. Für viele Entscheidungen gibt es schnellere Möglichkeiten zu lernen.

Wenn das Produkt noch fast niemand nutzt, funktioniert ein A/B-Test nicht, es sind nicht genügend Leute da, als dass das Ergebnis etwas aussagekräftig wäre. In dieser Phase erfahren Sie mehr als jeder statistische Test, wenn Sie mit fünf Benutzern sprechen und beobachten, wie sie das Produkt verwenden.

Es gibt auch kleine, umkehrbare Entscheidungen, die den Aufwand eines formalen Experiments nicht wert sind. Wenn eine Änderung kostengünstig durchzuführen und kostengünstig rückgängig zu machen ist, ist es manchmal sinnvoller, sie einfach umzusetzen und zu beobachten, als einen Test durchzuführen. Experimentieren ist ein Werkzeug unter anderen, nicht die Antwort auf jede Frage.

Zu wissen, wann man es nicht versuchen sollte, ist genauso wichtig wie zu wissen, wann man es versuchen sollte. A/B-Tests glänzen, wenn Sie über ein hohes Nutzeraufkommen verfügen, eine wichtige Entscheidung treffen und ernsthafte Zweifel daran haben, welchen Weg Sie einschlagen sollen. Darüber hinaus gibt es bessere Abkürzungen, und diese zu erkennen ist ein Zeichen von Reife, nicht von Faulheit.

Experimentieren ist eine Gewohnheit, kein Projekt

Der größte Wendepunkt für Anfänger besteht darin, dass sie ein Werkzeug nicht beherrschen. Dadurch wird das Experimentieren zur Gewohnheit. Die natürliche Reaktion im Zweifel lautet: „Wie können wir das testen?“ statt „Wer entscheidet das?“.

Teams, die diese Gewohnheit pflegen, treffen bessere Entscheidungen, nicht weil sie mehr Dinge richtig machen, sondern weil sie seltener Fehler machen und schnell lernen. Jeder nicht bestandene Test kostet wenig und bringt einem etwas bei. Es ist das Gegenteil davon, viel auf eine Intuition zu setzen und erst spät zu entdecken, dass sie falsch war.

Fangen Sie klein an, formulieren Sie echte Hypothesen, wählen Sie ein Werkzeug, das Sie verstehen, und haben Sie Geduld mit den Ergebnissen. Raffinesse kommt mit der Zeit. Die Denkweise steht an erster Stelle, und das macht den Unterschied.

Wenn Sie Ihre ersten Experimentierversuche unternehmen und nicht wissen, wo Sie anfangen sollen oder welches Tool sinnvoll ist, ist ein Gespräch ein Gespräch wert. Auf dem Blog gibt es weitere Texte zu Produktmetriken und Entscheidungskultur, die dabei helfen, in diese Richtung zu gehen.