User-Experience-Methoden-Katalog

# Evaluieren

Designartefakte fortlaufend evaluieren

# Zusammenfassung

Beim mensch-zentrierten Entwicklungsprozess erfolgt die Evaluation idealerweise parallel zur Entwicklung. So fließen die Ergebnisse der Evaluation direkt in den Entwicklungsprozess ein und tragen zur Verbesserung des Produkts bei, formative Evaluation genannt. Mit der Evaluation kann also bereits in der Gestalten Phase begonnen werden. Dies erfolgt etwa, indem mit repräsentativen Nutzern die Prototypen getestet werden. Evaluiert man dagegen erst die fertige Anwendung, spricht man von einer summativen Evaluation. Daneben kann eine Evaluation auch die Ausgangsbasis für ein Projekt bilden, etwa wenn ein Altsystem abgelöst oder verbessert werden soll. In allen Fällen ist es wichtig, die Tests mit repräsentativen Nutzern durchzuführen.

TL;DR — KI in dieser Phase: KI beschleunigt Vorbereitung, Transkription und Auswertung von Studien und kann Findings strukturieren und priorisieren. Sie ersetzt aber keine reale Nutzerbeobachtung, ihre Clustering- und Vorhersagemodelle sind nicht transparent (Black-Box), und bei echten Nutzerdaten gelten besondere Datenschutzanforderungen.

Evaluieren-Phase

# Ergebnis

In den meisten Fällen sind die Ergebnisse einer Evaluation qualitativ und enthalten Stärken, Schwächen und Verbesserungspotentiale eines Prototypen oder einer Anwendung. Bei Usability-Tests oder Fragebögen kann es auch quantitative Ergebnisse geben, etwa in Form eines konkreten Zahlenwertes für die Usability (System Usability Scale) oder Zeitangaben für die Dauer einer Aufgabe.

# Fragen, die in dieser Phase beantwortet werden

  • Wo haben Nutzer Probleme bei der Interaktion mit der Anwendung?
  • Wie können Probleme der Interaktion behoben werden?
  • Wie gut ist die Usability oder User Experience der Anwendung?
  • Wie sehen Nutzer die Anwendung?

# Mehrwert & Einsatzmöglichkeiten von KI

# Vorbereitung und Studiendesign beschleunigen

  • KI unterstützt bei der Generierung von Aufgaben, Studienplänen, Testprotokollen und geeigneten Testdaten.
  • Evaluationsprozesse lassen sich strukturierter aufsetzen und schneller an unterschiedliche Fragestellungen anpassen.

# Durchführung und Dokumentation unterstützen

  • KI kann Interviews und Usability-Tests automatisch transkribieren und zentrale Erkenntnisse in nahezu Echtzeit zusammenfassen.
  • In internationalen Studien unterstützt KI durch Echtzeit-Übersetzungen und erleichtert sprachübergreifende Durchführung.
  • Bei Remote- oder unmoderierten Tests kann KI mit automatisierter Moderation und adaptiven Nachfragen unterstützen.

# Simulationen und ergänzende Analysen nutzen

  • KI-basierte Agenten können Prototypen explorieren und z. B. Klickpfade oder Heatmaps generieren.
  • Modelle zur visuellen Aufmerksamkeit liefern erste Hinweise auf visuelle Hierarchie und potenzielle Schwachstellen.

# Heuristische Evaluation unterstützen

  • KI kann Designs systematisch gegen bekannte Usability-Prinzipien prüfen und so UX-Reviews vorbereiten.
  • Die Ergebnisse dienen als strukturierende Unterstützung für die weitere Expertinnen- und Expertenbewertung.

# Datenanalyse und Findings priorisieren

  • KI verarbeitet quantitative und qualitative Daten, z. B. durch Datenbereinigung, Kodierung, Clustering und statistische Auswertung.
  • Wiederkehrende Problemmuster können schneller identifiziert, Hypothesen formuliert und Findings entlang klarer Kategorien strukturiert werden.
  • KI kann Vorschläge zur Kategorisierung und Gewichtung von Findings nach Schweregrad oder betroffener Heuristik liefern.
  • Findings lassen sich gezielter in konkrete Handlungsempfehlungen für Design- und Produktentscheidungen überführen.

# Kommunikation und Ergebnisaufbereitung verbessern

  • KI unterstützt beim Verfassen, Überarbeiten und Strukturieren von Berichten sowie bei der Verdichtung zentraler Erkenntnisse.
  • Forschungsergebnisse können konsistenter aufbereitet und leichter in Teams kommuniziert werden.

# Kontinuierliche Evaluation und Qualitätssicherung stärken

  • Ergebnisse aus wiederkehrendem Feedback können schneller integriert und Trends über die Zeit sichtbar gemacht werden.
  • KI unterstützt Prüfschritte wie Plausibilitätschecks und die Vergleichbarkeit von Ergebnissen über mehrere Durchläufe.

# Risiken beim Einsatz von KI

# KI-moderierte Studien erfassen Verhalten nicht vollständig

  • In KI-durchgeführten oder KI-moderierten Studien lässt sich tatsächliches Nutzerverhalten nicht in voller Tiefe beobachten — die reine Auswertung von Aussagen ohne direkte Beobachtung führt zu unvollständigen oder verzerrten Erkenntnissen.
  • Bei der Moderation und der späteren Interpretation von Findings besteht die Gefahr, dass Antworten der KI übermäßig bestätigend ausfallen und dadurch ein verzerrtes Bild erzeugen (Sycophancy).

# Dokumentation und Transkription verlieren Kontext

  • KI-gestützte Transkriptionen erfassen den Kontext von Aussagen nicht immer korrekt und verwechseln Sprecherzuordnungen.
  • Nonverbale Signale wie Unsicherheit, Frustration oder Zögern werden nicht berücksichtigt und gehen in der Auswertung verloren.

# Black-Box bei automatisierter Datenanalyse

  • KI-Clustering ist inhärent subjektiv und nicht transparent — die Entscheidungslogik hinter Zuordnung, Strukturierung und Kategorisierung ist nicht nachvollziehbar (Black-Box).
  • Bei qualitativen Daten entstehen leicht zu viele Überschneidungen in Clustern, und unterschiedliche KI-Tools liefern inkonsistente Ergebnisse.
  • KI-gestützte Auswertungen vermitteln ein trügerisches Gefühl von Objektivität, wodurch Ergebnisse weniger kritisch hinterfragt werden.
  • Methodische Entscheidungen zu Strukturierung und Kategorisierung werden implizit durch die KI getroffen, ohne dass dies offen sichtbar wird.

# Simulationen und prädiktive Modelle ersetzen keine echten Nutzer

  • KI-basierte Agenten orientieren sich an gelernten Mustern, ersetzen keine realen Nutzer und erfassen nicht die tatsächliche Vielfalt von Nutzungssituationen.
  • Prädiktive Modelle für visuelle Aufmerksamkeit zeigen, was wahrgenommen wird, liefern aber keine Erklärung, warum bestimmte Elemente wahrgenommen werden.

# Automatisierte UX-Reviews bleiben oberflächlich

  • KI wendet bekannte Usability-Prinzipien nicht zuverlässig und kontextsensitiv an.
  • Ergebnisse dienen als erste Einschätzung und ersetzen keine fundierte Expertenbewertung.

# Datenschutz bei echten Nutzerdaten

  • In Evaluationen fallen echte Nutzerdaten an — Interviewmitschnitte, Testaufzeichnungen, Transkripte und Verhaltensdaten —, deren Verarbeitung in KI-Systemen besondere Sorgfalt erfordert.
  • Ohne vorherige Anonymisierung oder Pseudonymisierung und ohne Prüfung interner Richtlinien zur Datenverarbeitung besteht das Risiko, dass personenbezogene Daten in externe Modelle gelangen.

# Leitplanken für den Einsatz von KI

# KI als Unterstützung, nicht als Ersatz

  • Der Einsatz von KI sollte sich auf die Unterstützung bei Erhebung, Analyse und Aufbereitung beschränken — Interpretation und Bewertung verbleiben beim UX-Team.
  • KI-basierte Studienformate und Simulationen sind als Ergänzung zur Beobachtung realer Nutzer zu verstehen, nicht als Ersatz.

# Transparenz und Dokumentation

  • Eingesetzte KI-Werkzeuge und ihre Anwendung müssen klar dokumentiert werden, einschließlich der Annahmen, die in die Auswertung eingeflossen sind.
  • Methodische Entscheidungen zu Strukturierung, Kategorisierung und Gewichtung müssen bewusst getroffen werden und dürfen nicht implizit durch die KI entstehen.

# Qualität der Auswertung sichern

  • Analysen müssen systematisch überprüft werden, etwa durch Stichproben, den Vergleich mehrerer KI-Tools und manuelle Validierung.
  • Variation zwischen mehreren KI-Runs ist ein Indikator für Unsicherheit und sollte aktiv ausgewertet werden.
  • Clustering-Ergebnisse müssen auf konkrete Zitate und Beobachtungen rückverfolgbar sein — dies muss der KI explizit vorgegeben werden.

# Findings in Handlungsempfehlungen überführen

  • KI kann bei der Strukturierung der Ableitung unterstützen; die fachliche Einordnung und Priorisierung der Findings bleibt Aufgabe der UX-Expertinnen und -Experten.

# Datenschutz

  • Vor der Nutzung von KI-Tools muss geprüft werden, wie diese mit eingegebenen Daten umgehen (Speicherung, Weiterverarbeitung, Trainingsnutzung).
  • Aufzeichnungen, Transkripte und identifizierende Informationen müssen vor dem Einsatz von KI anonymisiert oder pseudonymisiert werden; interne Richtlinien zur Datenverarbeitung sind einzuhalten.

# Quellen

# Hinweis zur Nutzung von KI

Teile dieses Inhalts wurden unter Nutzung von KI‑gestützten Tools (insbesondere M365 Copilot) erstellt. Die Ergebnisse wurden durch die Autorin geprüft, überarbeitet und kontextuell eingeordnet. KI‑generierte Inhalte können fehlerhaft oder unvollständig sein und wurden daher nicht ungeprüft übernommen.


Zuletzt aktualisiert 25.05.2026