Was ist eine „formative Usability Evaluation“?

Was genau ist eine formative Usability Evaluation? Ist sie Vorschrift? Wo liegt der Unterschied zu einer summativen Evaluation? Wie kann Ihr Produkt von einer (oder mehreren) formativen Evaluation(en) profitieren? Was ist das bestmögliche Vorgehen für formative Evaluationen und welche Methoden eignen sich dafür?

Haben Sie sich eine oder mehrere der obenstehenden Fragen schon einmal gefragt? In diesem Grundbegriffe-Artikel finden Sie klare Antworten. Wir möchten hier ein Verständnis dafür schaffen, warum formative Usability Evaluationen eine große Chance für Ihre Produktentwicklung darstellen.

Definition: formative Usability Evaluation

Die IEC 62366-1:2020 definiert die formative Evaluation wie folgt:

„USER INTERFACE-Bewertung durchgeführt mit der Intention, Stärken und Schwächen des USER INTERFACE sowie unerwartete USE ERRORS zu ermitteln.“

Sie ergänzt zudem: „FORMATIVE EVALUATION wird im Allgemeinen iterativ während des Design- und Entwicklungs-PROZESSES durchgeführt, um die Gestaltung des USER INTERFACE zu unterstützen, allerdings vor der SUMMATIVEN EVALUATION.“ (DIN EN 62366-1:2020; Kapitel 3.7)

Die FDA liefert eine sehr ähnliche Beschreibung: „Preliminary analyses and evaluations are performed to identify user tasks, user interface components and use issues early in the design process. These analyses help focus the HFE/UE processes on the user interface design as it is being developed so it can be optimized with respect to safe and effective use. One of the most important outcomes of these analyses is comprehensive identification and categorization of user tasks, leading to a list of critical tasks.” (FDA “Applying Human Factors and Usability Engineering to Medical Devices”)

Müssen Sie formativ testen?

Formative Evaluationen Ihres Produkts sind weder in der FDA noch in der IEC 62366 vorgeschrieben. Allerdings helfen Ihnen formative Evaluationen sehr dabei, die Anforderungen an die Usability Ihres Produkts zu erfüllen und die von Ihnen geforderten Beweise dafür zu erbringen.

Vor allem hilft Ihnen formatives Testen, folgende Anforderung der IEC 62366-1 zu erfüllen:

„Der HERSTELLER muss eine Liste der vorhersehbaren GEFÄHRDUNGEN und GEFÄHRDUNGSSITUATIONEN, die mit dem Gebrauch des MEDIZINPRODUKTS verbunden sind, als Bestandteil des RISIKOMANAGEMENT-PROZESSES gemäß ISO 14971 erstellen.“ (DIN EN 62366-1:2020; Unterabschnitt 5.3)

Achtung, häufiger Stolperstein: Haben Sie in Ihrem eigenen QMS erwähnt, dass Sie formativ testen, dann müssen Sie dies natürlich auch für die QMS-Zertifizierung nachweisen, aber nicht zwangsweise für die Zulassung Ihres Produkts.

Die FDA nennt für das notwendige Identifizieren von bislang unbekannten Use-Related Hazards und Use Errors die formative Evaluation als eine sehr geeignete Methode: „For example, formative evaluation can reveal previously unrecognized use-related hazards and use errors and help identify new critical tasks.” (source: FDA “Applying Human Factors and Usability Engineering to Medical Devices”) Auch hier ist formatives Testen nicht vorgeschrieben, aber als wichtiger Teil des Prozesses genannt, der Sie auf die summative Evaluation vorbereitet!

Was ist das Ziel einer formativen Evaluation?

In formativen Evaluationen werden die Stärken und Schwächen eines Interfaces identifiziert:

• Die Stärken möchten Sie identifizieren, weil man in keiner Iteration etwas streichen möchte, das gut funktioniert hat und Nutzer begeisterte.
• Die Schwächen, weil man Use Errors entdecken möchte und herausfinden will, wo es Sicherheitslücken und Verbesserungspotenzial gibt. Sie vervollständigen hier also Ihre Risikoanalyse mit Fehlern, an die Sie vorher noch gar nicht gedacht haben.

Dabei erlaubt Ihnen formatives Testen, viele Lösungsansätze für Ihr Produkt auszuprobieren. Sie finden hier Schritt für Schritt heraus, mit welchem Ansatz Sie sich Ihrem Ziel am besten annähern!

Neben der Verbesserung der Usability Ihres Produkts können formative Evaluationen helfen, gezielt die User Experience Ihres Produkts verbessern.

Was ist der Unterschied zwischen einer summativen und einer formativen Evaluation?

Eine formative Evaluation ist entwicklungsbegleitend und (wie oben definiert) dazu da, Verbesserungspotenzial in Sachen Usability und User Experience zu generieren.

Eine summative Evaluation ist eine abschließende Produktbewertung. Die IEC 62366-1 definiert sie wie folgt: „User Interface Evaluation, die zum Abschluss der Entwicklung des User Interface durchgeführt wird mit dem Ziel des objektiven Nachweises, dass das User Interface sicher benutzt werden kann“ (DIN EN 62366-1:2020).

Wichtig: Für eine formative Evaluation gibt es keinerlei Formvorschriften, anders bei der summativen Evaluation. Sie können alles tun, was Sie dabei unterstützt, ein besseres Produkt zu entwickeln! Aber es sollte stets vorbereitend auf die summative Evaluation sein.

Warum ist formatives Usability Testing so wichtig für Ihr Produkt?

Es ist sehr unwahrscheinlich, dass ein Medizinprodukt die summative Evaluation besteht, ohne dass es zuvor mit echten Nutzern auf die Usability getestet wurde. Um es noch einmal klar zu formulieren: Wir haben es in der Praxis noch nie erlebt, dass eine summative Evaluation erfolgreich abgelaufen ist, wenn das der erste Kontakt des Produkts mit den echten Nutzern war. Viele Use Errors können Sie nicht vorhersehen oder erraten. Passieren diese in einer formativen Evaluation, können Sie Ihr Produktdesign anpassen. Tritt ein kritischer Fehler allerdings in der summativen Evaluation auf, verzögert oder verhindert das Ihre Zulassung.

Zudem hilft Ihnen formatives Testen, einige von der IEC 62366-1 und der FDA gestellten Anforderungen an Ihre Produktentwicklung zu erfüllen.

Diese von der IEC 62366-1 geforderten Punkte können Sie im Zuge einer formativen Evaluation abhaken und nachweisen:

• Ermitteln von Merkmalen des USER INTERFACE in Bezug auf SICHERHEIT und mögliche USE ERRORS (DIN EN 62366-1:2020; 5.2)
• Ermitteln bekannter oder vorhersehbarer GEFÄHRDUNGEN und GEFÄHRDUNGSSITUATIONEN (DIN EN 62366-1:2020; 5.3)
• Ermitteln und Beschreiben GEFÄHRDUNGSBEZOGENER USE SCENARIOS (DIN EN 62366-1:2020; 5.4)
• Auswählen der GEFÄHRDUNGSBEZOGENEN USE SCENARIOS für die SUMMATIVE EVALUATION (DIN EN 62366-1:2020; 5.5)

Auch die FDA fordert einige Punkte, die Sie durch formatives Testen leisten können:

• Formatives Testen hilft Ihnen, Gefährdungen und Benutzungsfehler zu benennen.
• Risikominimierende Maßnahmen können definiert werden, wenn das Problem anhand von formativen Evaluationen verstanden wurde.
• Es liefert wichtige Informationen, die Sie für Ihren Validierungsplan brauchen.

Formative Evaluationen sind perfekt als Lern – und Entscheidungshilfe: Es geht darum, gute Designentscheidungen zu treffen und gute Produkte zu entwickeln.

Ein weiterer wichtiger Grund: Sie sind der einzige Punkt im Prozess, an dem geprüft wird, wie nah das Produkt den ursprünglichen Zielen kommt. Formatives Testen ist Ihre Möglichkeit, systematisch zu lernen und Verbesserungspotenzial zu entdecken und anhand von Daten anstelle von Bauchgefühlen zu entscheiden.

Wie erreichen Sie möglichst gutes formatives Testen für Ihr Produkt?

Es gibt zwei Arten der formativen Evaluation:

Eine Expertenevaluation prüft das Interface gemeinsam mit einem UX-Experten. Dieser Experte nutzt dazu Guidelines, um ein einheitliches Bewertungsschema sicherzustellen. Hier können viele Normen genutzt werden, zum Beispiel die DIN EN ISO 9241-11:2018-11, die sich mit der „Ergonomie der Mensch-System-Interaktion“ befasst. Diese enthält beispielsweise Normenteile zur Interfacegestaltung und zu Dialogkriterien.

Bei einer Nutzerevaluation werden Nutzer mit dem aktuellen Stand des Designs konfrontiert und geben dann Rückmeldung dazu. Man möchte herausfinden, wie gut das Interface verständlich ist, ob es zu den Aufgaben des Nutzers passt und wie sicher die Bedienung ist. Ebenfalls wichtig ist die Frage, ob es Begeisterung im Nutzer auslöst.

Diese Rückmeldung kann qualitativ oder quantitativ sein. Sie kann aber auch objektiv oder subjektiv sein. Welche Daten erhoben werden, hängt vom Stand Ihres Prototypen ab. Objektiv und qualitativ sind zum Beispiel UX-Tests, während subjektiv und qualitativ einem intensiven und wenig standardisiertem Interview entspricht.

Um eine möglichst pragmatische und effektive Umsetzung des Usability und User Experience Testings zu garantieren, setzen wir auf unseren Data Driven UX Design Prozess. Hier laufen formative Evaluationen wie folgt ab:

Aus einer Nutzungskontextanalyse leiten wir Nutzungsanforderungen ab, anhand derer Gestaltungslösungen entwickelt werden. Diese präsentieren wir dann in Form von Prototypen den echten Nutzern. Diese lösen die von Ihnen spezifizierte Aufgabe mit diesem Prototypen. So können Gestaltungslösungen auch schon früh im Entwicklungsprozess aber auch zu einem späteren Zeitpunkt evaluiert werden. Die Daten werden ausgewertet und in die Gestaltungslösung eingebaut. Dann wird iterativ verbessert und evaluiert, bis keine kritischen Bedienfehler mehr auftreten. Die nötigen Gestaltungsentscheidungen werden dabei immer anhand echter Nutzerdaten getroffen.

Folgende Punkte sollten Sie beachten:

• Testen Sie iterativ! Jede Iteration passen Sie Ihren Prototypen an und verbessern so Schritt für Schritt Ihr Produkt.
• Oft empfiehlt sich ein Methodenmix! Sie können eine Vielzahl von Methoden anwenden. Denkbar sind Usability und User Experience Tests, Klickpfade, Onlinebefragungen, Fokusgruppen oder qualitative Interviews.
• Achten Sie darauf, dass Ihr Partner für die Durchführung die richtigen Usability Labore und gegebenenfalls die richtigen Dummies für Ihren speziellen Fall zur Verfügung stellen kann.

Am Ende der formativen Evaluation wird entschieden ob eine weitere Iteration sinnvoll ist, oder ob es in die Umsetzung geht.

Wenn Ihr formatives Testen zu einem Ende gelangt ist, können Sie sich hiermit auf die summative Evaluation vorbereiten: „17 Dos and Dont’s bei der Durchführung von summativen Usability Evaluationen“.

Fazit

Formatives Usability Testing ist nicht explizit vorgeschrieben (außer Sie haben es in Ihren eigenen Prozessanweisungen so definiert), aber perfekt, um Verbesserungspotenzial Ihres Produkts zu erheben und um die geforderte Aufstellung der Gefährdungen und Gefährdungssituation, die mit dem Gebrauch Ihres Medizinprodukts verbunden sind, zu machen. Diese brauchen Sie für den Risikomanagement-Prozess nach ISO 14971. Im Zuge dessen kann hier die User Experience Ihres Produkts gezielt mitverbessert werden.

Was ist Ihr spezieller Fall? Haben Sie bereits Erfahrungen mit formativem Usability Testing? Gerne können Sie diesen Beitrag kommentieren oder sich über unser Kontaktformular melden.  Wir freuen uns auf Ihre Rückmeldung!