Stabilität im Antwortverhalten bei UX Fragebögen - Vers.A
Schrepp, Martin; Thomaschewski, Jörg (2024): Response Instability in User Experience Questionnaires. Journal of User Experience. || Download
Zusammenfassung
Hintergrund der Studie: Die Studie wurde durchgeführt, um die Zuverlässigkeit verschiedener UX-Fragebögen zu überprüfen, da vermutet wurde, dass die Antworten der Teilnehmer:innen bei wiederholter Befragung variieren könnten, selbst wenn sich ihre Meinung über das Produkt nicht geändert hat. Ziel war es, zu verstehen, wie stark diese Antwortinstabilität die Umfrageergebnisse (Mittelwerte und Standardabweichungen) beeinflusst.
Methodik: Es haben 67 Teilnehmer:innen zweimal den gleichen UX-Fragebogen für dasselbe Produkt ausfüllten, mit einem zeitlichen Abstand von etwa zwei Wochen zwischen den beiden Umfragen. Die Studie umfasste Bewertungen von 6 verschiedenen Produkten (Instagram, Netflix, Spotify, Moodle, Amazon Produktsuche und Microsoft Teams) und verwendete 4 etablierte UX-Fragebögen (UEQ-S, UMUX, VISAWI-S, und NPS), um die Instabilität der Antworten zu analysieren.
Ergebnisse:
Es gibt eine erhebliche Antwortinstabilität, wobei die Antworten der Teilnehmer:innen bei der Wiederholung der Umfrage variieren. Diese Instabilität ist jedoch zufällig und symmetrisch, was bedeutet, dass sie die Mittelwerte der Skalen nicht signifikant beeinflusst, aber die Standardabweichungen erhöht.
Implikationen für die Praxis: Obwohl Antwortinstabilität in UX-Bewertungen häufig vorkommt, beeinflusst sie die Mittelwerte der Skalen nicht signifikant, wenn die Stichprobe groß genug ist. UX-Praktiker sollten bei der Interpretation von Standardabweichungen in UX-Umfragen vorsichtig sein, da ein großer Teil der Variabilität auf Antwortinstabilität zurückzuführen sein könnte.