6 rules for a successfully moderated user test
6 Kniffe für den moderierten User Test
- Gute Vorbereitung
- Fünf Testpersonen
- Angst nehmen
- Laut denken
- Moderator:in & Beobachter:in
- Zeitnahe Auswertung
1. Gute Vorbereitung
Der Leitfaden ist ein wichtiger Bestandteil einer guten User Test-Vorbereitung und hilft dabei, den User Test-Ablauf zu strukturieren und zu standardisieren. Typischerweise besteht ein Leitfaden aus einer Einführung, einem Hauptteil und einem kurzen Schluss. In der Einführung werden die Rahmenbedingungen des User Tests erläutert, nach einer Einwilligung zur Aufnahme gefragt und bei Bedarf einige Interviewfragen gestellt.
Der Hauptteil besteht aus der Beschreibung des Nutzungsszenarios und den eigentlichen Testaufgaben des User Tests, die der Testperson auch schriftlich vorliegen. Während des kurzen Schlussteils ist noch Zeit für offene Fragen und ein Dankeschön an die Testperson. Zudem sollten vor Beginn alle wichtigen technischen Funktionen geprüft und bei ausreichend Zeit ein Probedurchlauf absolviert werden.
Checkliste zur Vorbereitung eines moderierten User Tests
- Ausbaustufe des Prototypen definieren
- Hypothesen oder Ziel formulieren
- Testmethode wählen
- Leitfaden erstellen
- Testaufgaben der Testperson schriftlich zur Verfügung stellen
- Technik prüfen
- Probelauf durchführen
2. Fünf Testpersonen reichen meist aus
Die Annahme gute Usability sei kostspielig und ein User Test eigne sich nur für Projekte mit einem hohen Budget und einem großzügigen Zeitplan, ist nicht richtig. Ganz im Gegenteil: Besonders der umfangreiche User Test liefert nicht im gleichen Maße mehr Erkenntnisse. Die effektivsten Ergebnisse lassen sich mit fünf Testpersonen in mehreren Testrunden erzielen.
Hast du zum Beispiel ein Budget für 15 Testpersonen, ist es sinnvoll diese auf drei User Test-Runden mit jeweils fünf Tester:innen aufzuteilen. Denn wie in der Grafik zu sehen, steigt die Anzahl der gefunden Usability Probleme ab fünf bis sechs Testpersonen nur noch langsam an.
Die Faustregel von fünf Personen pro User Test ist jedoch nicht uneingeschränkt gültig. Sie eignet sich in erster Linie für qualitative moderierte Nutzertests in einem frühen Projektstatus. Je komplexer die Anwendung ist und je detaillierter und vergleichbarer die Ergebnisse sein sollen, desto mehr Testpersonen werden benötigt.
3. Der Testperson die Angst nehmen
Zu Beginn des User Tests ist es wichtig, der Testperson die Angst zu nehmen etwas Falsches zu sagen oder zu machen. Je entspannter sich die Tester:innen fühlen, desto ehrlicher und hilfreicher werden die Testergebnisse sein.
Um die Angst zu nehmen, hilft es einen Überblick über den Ablauf zu geben, die Testaufgaben zu erläutern und Raum für Gegenfragen zu schaffen. Die moderierende Person kann zusätzlich betonen:
"Uns ist deine ehrliche Meinung sehr wichtig und du kannst nichts Falsches sagen. Wir testen nicht dich, sondern den Prototypen."
Zudem sollte nicht offengelegt werden, die Anwendung selbst konzipiert oder gestaltet zu haben, sodass die Testperson nicht befürchten muss das Gegenüber zu kränken.
4. Um lautes Denken bitten
Die Methode des direkten lauten Denkens macht die Gedankengänge der Tester:innen erfassbar. Dabei wird die Testperson vor dem Start der Testaufgabe darum gebeten, laut auszusprechen, was sie denkt. Dadurch werden während der Nutzung Handlungsstrategien und Denkmuster sichtbar. Vorteile der Methode sind, dass Usability Probleme sofort hörbar werden und dies zeitsparend während des Lösens der Aufgabe im User Test geschieht.
Eine alternative Testmethode ist das nachträgliche Kommentieren der eigenen Handlungen mit Hilfe einer Bildschirmaufzeichnung. Im Gegensatz zum direkten lauten Denken werden Tester:innen nicht während des Tests durch das eigene Sprechen abgelenkt und die Dauer des Testprozesses verlängert sich nicht künstlich.
5. Moderator:in und Beobachter:in splitten
Bei der Durchführung des User Tests werden die Rollen der moderierenden und der beobachtenden Personen getrennt. So kann sich der oder die Moderator:in auf die Begleitung der Testperson und die beobachtende Person auf die Reaktionen konzentrieren. Die beobachtende Person hält sich während des User Tests zurück und stellt sich nur kurz zu Beginn vor. Bei Bedarf kann er oder sie die moderierende Person unterstützen oder am Ende ergänzende Fragen stellen. Gibt es mehrere Beobachter:innen ist es für die Testperson angenehmer, wenn diese nur die moderierende Person sieht.
Der User Test kann zudem aufgezeichnet und im Nachhinein angeschaut werden. Die Aufzeichnung empfiehlt sich ohnehin, um nachträglich bestimmte Usability Probleme zu analysieren. Bei einem Remote User Test können jedoch auch mehrere Beobachter:innen live über einen separaten Videocall den User Test verfolgen.
6. Zeitnahe Auswertung
Eine zeitnahe Auswertung hilft, die frisch gewonnenen Eindrücke optimal zu nutzen. Dafür werden Aufnahmen, Notizen und Aufgabenstellungen noch einmal durchgegangen. Um keine voreiligen Schlüsse von Aussagen einzelner Testpersonen zu ziehen, werden die gewonnenen Erkenntnisse gegenübergestellt. Dafür kann eine Tabelle erstellt oder Notizen an einzelne Screens hinzugefügt werden. Die Erkenntnisse werden so konkret wie möglich formuliert, um Missverständnisse auszuschließen.
Unkonkrete Erkenntnis: Die Testperson klickte auf den falschen Link.
Konkrete Erkenntnis: Die Testperson klickte auf den Link mit den Versandinformationen, anstelle auf den Link mit den Zahlungsinformationen.
Nachdem der Dokumentation der Usability Probleme aus dem User Test werden sie nach dem Nutzen der Lösungen priorisiert. Können die Änderungen nicht selbst vorgenommen werden, folgt das Präsentieren der Erkenntnisse vor Entscheidungsträger:innen.
In der Ergebnis-Präsentation unterstützen Zitate und Aufnahmen der Testpersonen die neuen Erkenntnisse und unterstreichen so die Relevanz der Usability Probleme. Neben den negativen Erkenntnissen, hilft positives Feedback gut Funktionierendes auch nach weiteren Testrunden zu erhalten.
Du bist dir noch unsicher, ob du überhaupt einen User Test benötigst? Erfahre in dem Artikel “Was sind User Tests und warum sind sie so wichtig?” mehr dazu.
